Das Schiltachtal, in welchem Schramberg liegt, wurde schon ab dem 12. Jahrhundert von Burgen geprägt. Anfänglich bestand der Bereich um das heutige Schramberg aus verschiedenen Höfen. 

Unter Hans von Rechberg, bildete sich mit dem Bau der Burg Hohenschramberg Ende des 15. Jahrhunderts, erstmals eine Herrschaft Schramberg heraus.

1547 erhielt Schramberg unter der Herrschaft von Rochus Merz das Marktrecht,

1583 wurde Österreich Herr über Schramberg

1806 kam die Stadt an Württemberg und erhielt 1867 das Stadtrecht.