Das heutige Gebäude wurde 1766 vom Oberndorfer Pfandherren Johann Freiherr von Pflummern, errichtet. Doch an dieser Stelle muß bereits im Mittelalter ein Wohnplatz - vielleicht der Stadtgründer - gestanden sein. Bei archäologischen Ausgrabungen stieß man auf alte Gebäudereste. Noch heute weist der Name Pfalz auf einen alten Herrschersitz hin.

Nach dem Übergang Oberndorfs an Württemberg, wurde hier ab 1807 das königliche Kameralamt eingerichtet. Von 1935 bis 1975 befand sich in den Räumen das Oberndorfer Heimatmuseum, danach bis 1990 die Sonderschule. Seit 1990 befindet sich hier die Karg-Elert-Musikschule.