1125 wurde der Name Kaltbrunn erstmals urkundlich erwähnt und gehörte im Hochmittelalter zur Herrschaft der Grafen von Sulz. 1498/1506 gelangten Kaltbrunn und Wittichen an das Haus Fürstenberg und 1806 an Baden.