Die frühesten Zeichen einer Bautätigkeit im Bereich des heutigen Erbacher Schlosses weisen in das 12. Jahrhundert. Der mächtige Bergfried stammt noch aus der Stauferzeit, der gotische Turmhelm wurde gegen Ende des 15. Jahrhunderts aufgesetzt. Die ehemalige romanische Kleinburg wurde zu Beginn des 16. Jahrhunderts zu einem Renaissance-Schloss erweitert und im Dreißigjährigen Krieg beschädigt. Das heutige Schloss ließ Graf Georg Wilhelm zu Erbach-Erbach in der ersten Hälfte des 18. Jahrhunderts auf den Grundmauern der früheren Tiefburg erbauen und erweitern. Fast zeitgleich mit dem Erbacher Schloss entstand die evangelische Stadtkirche. Schloss und Kirche prägen mit ihren markanten Türmen die Altstadt. Erst 1902 wurde das Schloss im neobarocken Stil dekoriert (Fensterumrandungen, Schlossportal, Balkon auf der Marktplatzseite, etc.)

Die Bauten auf der gegenüberliegenden Seite - Kastenbau, Damenbau und Alter Bau - sowie der Torbogen mit dem Archivbau stammen ursprünglich aus der Mitte des 16. Jahrhunderts. Kasten- und Damenbau wurden nach einem Großbrand 1894 auf den alten Grundrissen leicht verändert wieder aufgebaut.

Die Front des Erbacher Schlosses mit dem auf dem Marktplatz stehenden Denkmal des Grafen Franz I. im Vordergrund.