An der Stelle des heutigen Schlosses stand eine zweite, jüngere Festung, die wahrscheinlich in der Mitte des 15. Jahrhunderts errichtet wurde, nachdem die ältere Festung, die sich südwestlich von Kácov am linken Ufer der Sázava bei Soušice befand, aufgegeben worden war. Da Kácov seit der Wende vom 14. zum 15. Jahrhundert unter mehreren Besitzern aufgeteilt war, kann nicht ausgeschlossen werden, dass zwei Festungen für eine gewisse Zeit nebeneinander bestanden.
Die Festung an der Stelle des Schlosses wird auf das Jahr 1473 datiert, als sie zu drei Vierteln im Besitz von Kuneš von Olbramovice war. Der Erbauer wählte einen Standort im südlichen Teil von Kácov am Rande eines steil zum Fluss Sázava abfallenden Felsenhangs. Dieser Hang bildete eine natürliche Befestigung, die auf der Nordseite durch eine künstliche Befestigung ergänzt wurde, die heute völlig verschwunden ist. Die ursprüngliche Form der Festung lässt sich auch nach mehreren Umbauten nicht mehr rekonstruieren.
Im Jahr 1627, während der Herrschaft von Jan Oktavián Kinský, brach auf der Herrschaft Kákovský ein Leibeigenenaufstand aus und die Aufständischen plünderten die Festung. Erst im Jahre 1630 ließ Benigna Katharina von Lobkowitz die Burg reparieren und erweitern. Es entstand ein kleines einstöckiges Barockschloss mit einem steinernen Erdgeschoss und einem hölzernen ersten Stock. Unter František Scheidler wurde das Schloss weiter ausgebaut. Zwischen 1727 und 1733 ließ die toskanische Fürstin Anna Maria Franziska die von ihren verschuldeten Vorbesitzern vernachlässigte Burgruine in Kács im Stil einer barocken norditalienischen Adelsresidenz umbauen. Der Umbau veränderte das Aussehen des ehemaligen Festungsgeländes völlig, entfernte die letzten Reste der Befestigungsanlagen und ließ nur noch einige Grundmauern des alten Gebäudes stehen. Das neue Schloss wurde auf unebenem Gelände errichtet, so dass die Südfassade zum Fluss Sázava hin zweistöckig, die Nordfassade mit dem Haupteingang dagegen einstöckig war. Die Burg hatte einen rechteckigen Grundriss, wobei die kürzeren West- und Ostseiten mit turmartigen Vorsprüngen versehen waren. Diese Vorsprünge waren so hoch wie das Hauptgebäude und wurden daher durch barocke Zwiebeltürme hervorgehoben. Die Achse des Schlosses bildete im Inneren ein durch beide Geschosse verlaufender Gang, der an seinem höchsten Punkt das Schlossdach in Form eines rechteckigen Halbmonds überragte und so eine für das Schloss typische Silhouette schuf. Der Korridor war der Eingang zu den meisten Räumen. Die Innenräume waren hauptsächlich mit Stuck verziert. Die reichste Dekoration befand sich in der Schlosskapelle. Die Fassade war mit Wandmalereien verziert, die verschiedene Figuren in den blinden Fenstern darstellten. Das Schloss war durch eine schlichte Mauer mit einem Barocktor vom Marktplatz getrennt. Das Schloss ist in dieser Form praktisch bis heute erhalten geblieben.
Der Schlosskomplex besteht aus drei Teilen: dem Schloss selbst, der Pfarrkirche und dem Aschenhof. Ein 150 m langer Verbindungsgang zwischen dem Schloss und der Kirche, der heute nicht mehr in Betrieb ist und bis vor kurzem für staatliche Archivzwecke genutzt wurde, vervollständigt den Komplex auf grundlegende Weise. Der gesamte historische Komplex wurde dann nach 1920 durch den Bau einer Falknerei an der Stelle des Kornspeichers weiter verändert. Dieser Veränderung ging jedoch die Beseitigung des Friedhofskomplexes und seiner Mauern um die Kirche auf der Grundlage moderner Hygienevorschriften voraus. Von der Friedhofsanlage ist nur noch die Kapelle des Heiligen Florian, des Schutzpatrons der Feuerwehr, übrig geblieben, die bei einer Fahrt durch den Ort nicht zu übersehen ist.