Die Kirche ist dem heiligen Jacobus geweiht. Ursprünglich wurde Herrenzimmern von der Mutterpfarrei Dunningen aus versorgt. Erst 1623 erhielt Herrenzimmern die Erlaubnis einen eigenen Friedhof anzulegen - ab 1645 hatte die Kirche dann auch eine selbstständige Pfarrei. Die heutige Kirche wurde 1747 geweiht - der Kirchturm 1720 und das Kirchenschiff 1738 erbaut.