Die Jakobuskirche gilt als das älteste Gebäude der Gemeinde Rümmingen. Im Jahr 2005 feierte die evangelische Kirchengemeinde das 500-jährige Bestehen der Jakobuskirche, die ursprünglich einem der Heiligen Jakobus geweihte Pilgerkirche war. Es wird angenommen, das schon zuvor am Platz eine aus Holz gebaute Kapelle stand. Einer der Pilgerwege führte von Ulm durch den Schwarzwald ins Kandertal und weiter über Rümmingen und Lyon durch die Pyrenäen in das spanische Santiago de Compostela.

Die Kirchengemeinden Rümmingen und Binzen gehörten mit Ausnahme eines kurzen Zeitabschnittes schon immer zusammen. Die Pfarrei wurde bis 1503 der katholischen Diözese Konstanz und dann dem Bischof von Basel zugeordnet. Seitdem gehört die Jakobuskirche zur evangelischen Kirche. 1505 erfüllte der Basler Bischof den Rümmingern den Wunsch, auf Kosten des Dorfes eine Kapelle aus Stein zu bauen.

Die vier, vermutlich aus einer Basler Werkstatt stammenden spätgotischen Heiligenfiguren Anna Selbdritt (Heilige Mutter Anna), eine Bischofsfigur, Johannes der Täufer und der Heilige Jakobus lagerten jahrhundertelang unbeachtet auf dem Speicher der kleinen Kirche und befinden sich heute im Landesmuseum Karlsruhe.

Protestanten wie Katholiken pflegen in Rümmingen ein reges ökumenisches Miteinander.