1541년 제네바에 돌아온 칼빈은 교회 음악에 대한 규례를 제정하였다. 루터와 칼빈 두 종교개혁가는 음악에서도 큰 차이점을 갖았다. 루터는 민중음악의 선율을 사용했는데, 칼빈은 가사는 시편을 곡조는 매우 단순하게 하였다. 루터는 음악으로 마귀를 쫓기 위해서도 사용하였지만, 칼빈은 그렇지 않았다(셀더르하위스, [칼빈], 190). 루터는 사탄의 유혹에 저항하기 위해서 찬양했지만, 칼빈은 마음을 온화하게 하기 위해서 찬양했다.

음악의 창시자가(창 4:21) 유발인데, 이것은 하나님을 떠난 인간이 스스로 만족하기 위한 방편의 음악이었다. 인간의 모든 재능이 먼저 하나님께 영광 돌릴 수 있는 기능이어야 한다. 칼빈은 아름다운 음악으로 하나님을 합당하게 찬양하기를 바랐다.

그것은 시편에는 하나님 찬송이 가득하기도 하다(시 28:29).

1542년에 두 번째 시편 찬송이 “기도의 예식서와 회중 찬송”이라는 제목으로 출판하였다. 시편 찬송에는 클레멍 마로(Clement Marot)가 작곡한 시편 찬송 35곡과 함께 세례와 성찬 예식문, 그리고 기도문이 들어 있었다.

칼빈은 신실한 신자는 하나님께 영광과 경배하는 것이 필수적으로 생각하였다. 하나님께 예배, 성찬에 참여, 찬송하는 것이 그러한 행동이었다.

음악은 다윗이 사울의 마음을 평안하게 한 것처럼 인간의 영혼을 평안하게 하는 기능이 있다. 다만 긍극적인 치료는 아니었지만 유익은 있다.

칼빈은 지휘자의 지도 아래서 화음으로 찬양할 수 있도록 하였다. 1537년에 생각했던 것을 제네바에 귀환해서 실천한 것이다. 합당하고 유익한 예배를 위해서 회중 찬양을 도입한 것이다. 이로서 모든 회중이 하나님을 찬양하는 예배가 가능하게 되었다.