V místech dnešního zámku stávala druhá, mladší tvrz, která vznikla pravděpodobně v polovině 15. stol. poté, co zpustla starší tvrz, která se nacházela jihozápadně od Kácova na levém břehu Sázavy u Soušic. Vzhledem k tomu, že od přelomu 14. a 15. stol. byl Kácov rozdělen mezi několik majitelů, nelze vyloučit možnost, že po určitou dobu existovaly vedle sebe tvrze dvě.
K tvrzi v místech zámku se vztahuje údaj z r. 1473, kdy ze tří čtvrtin náležela Kunešovi z Olbramovic. Stavebník si vybral místo v jižní části Kácova na okraji skalnatého svahu spadajícího strmě k Sázavě. Tento svah tvořil přirozené opevnění, které na severní straně bylo doplněno opevněním umělým, dnes již zcela zaniklým. Původní podobu tvrze nelze již po několika přestavbách rekonstruovat.
Za vlády Jana Oktaviána Kinského vypuklo v r. 1627 na kácovském panství nevolnické povstání a vzbouřenci vyplenili i tvrz. Opravit a rozšířit ji dala až Benigna Kateřina z Lobkovic po roce 1630. Vznikl nevelký jednopatrový barokní zámek, jehož přízemí bylo kamenné a první patro dřevěné. Dalšího rozšíření se zámek dočkal ve vlastnictví Františka Scheidlera. V l. 1727 - 1733 dala toskánská kněžna Anna Marie Františka zpustlý kácovský zámek, kterému předchozí zadlužení majitelé nevěnovali pozornost, přestavět ve stylu barokního severoitalského šlechtického sídla. Přestavba zcela změnila podobu areálu bývalé tvrze, odstranila poslední zbytky opevnění a ze staré budovy se zachovaly jen některé základové zdi. Nový zámek byl postaven na nerovném terénu, takže jeho jižní průčelí obrácené k řece Sázavě bylo dvoupatrové, kdežto severní, v němž byl i hlavní vchod, jednopatrové. Zámek byl založen na obdélníkovém půdorysu, přičemž kratší západní a východní strana byla ozdobena věžovitými výstupky. Tyto výstupky byly stejně vysoké jako hlavní budova, a byly proto zvýrazněny barokními cibulovitými báněmi. V interiéru tvořila osu zámecké budovy chodba prostupující oběma patry, která ve své nejvyšší části převýšila střechu zámku v podobě obdélníkového polopatra, a tím vytvořila pro zámek typickou siluetu. Z chodby byl vchod do většiny místností. Interiéry byly zdobeny především štuky. Nejbohatší výzdobu měla zámecká kaple. Průčelí byla vyzdobena nástěnnými malbami, představujícími v slepých oknech různé postavy. Od náměstí byl zámek oddělen prostou zdí s barokní branou. V této podobě se zámek zachoval prakticky dodnes.
Zámecký komplex se skládá ze tří částí: samotného zámku, farního kostela a poplužního dvora. Komplex doplňuje zásadním způsobem spojovací chodba mezi zámkem a kostelem dlouhá 150 metrů, která je dnes nefunkční a donedávna byla využívána pro archivní účely státu. Celý historický komplex byl pak ještě změněn po r. 1920 výstavbou sokolovny na místě špýcharu. Této změně již ale předcházelo zrušení hřbitovního areálu a jeho zdí kolem kostela na základě novodobých hygienických předpisů. Z ohrazení hřbitova zůstala do dnešních dnů pouze kaple svatého Floriána, ochránce hasičů, kterou není možné při projížďce městečkem přehlédnout.