Na miejscu dzisiejszego zamku stała druga, młodsza twierdza, która prawdopodobnie została zbudowana w połowie XV wieku po opuszczeniu starszej twierdzy, która znajdowała się na południowy zachód od Kácova na lewym brzegu rzeki Sázava w pobliżu Soušic. Ponieważ od przełomu XIV i XV wieku Kácov był podzielony między kilku właścicieli, nie można wykluczyć, że przez pewien czas istniały obok siebie dwie twierdze.
Twierdza na miejscu zamku pochodzi z 1473 roku, kiedy trzy czwarte należało do Kuneša z Olbramovic. Budowniczy wybrał miejsce w południowej części Kácova, na skraju skalistego zbocza opadającego stromo do rzeki Sázavy. Zbocze to tworzyło naturalną fortyfikację, która została uzupełniona od strony północnej sztuczną fortyfikacją, która obecnie całkowicie zniknęła. Pierwotnego kształtu twierdzy nie można odtworzyć po kilku rekonstrukcjach.
W 1627 roku, za panowania Jana Oktawiana Kinskiego, w majątku Kákovskiego wybuchło powstanie chłopów pańszczyźnianych, a buntownicy splądrowali twierdzę. Dopiero w 1630 r. Benigna Katarzyna z Lobkowitz zleciła jej remont i rozbudowę. Zbudowano mały jednopiętrowy barokowy zamek z kamiennym parterem i drewnianym piętrem. Zamek był dalej rozbudowywany za czasów Franciszka Scheidlera. W latach 1727-1733 toskańska księżniczka Anna Maria Franciszka zleciła przebudowę zrujnowanego zamku w Kács, zaniedbanego przez poprzednich zadłużonych właścicieli, w stylu barokowej północnowłoskiej rezydencji szlacheckiej. Rekonstrukcja całkowicie zmieniła wygląd dawnego obszaru twierdzy, usunęła ostatnie pozostałości fortyfikacji i pozostały tylko niektóre ściany fundamentowe starego budynku. Nowy zamek został zbudowany na nierównym terenie, więc jego południowa fasada od strony rzeki Sázavy była dwupiętrowa, podczas gdy północna fasada, w której znajdowało się główne wejście, była jednopiętrowa. Zamek został zbudowany na planie prostokąta, z krótszymi zachodnimi i wschodnimi bokami ozdobionymi wieżami. Ryzality te dorównywały wysokością głównemu budynkowi i dlatego zostały zaakcentowane barokowymi wieżyczkami w kształcie cebuli. Wewnątrz osią budynku zamkowego był korytarz biegnący przez obie kondygnacje, który w swojej najwyższej części zwieńczał dach zamku w formie prostokątnego półkopuły, tworząc tym samym typową dla zamku sylwetkę. Korytarz stanowił wejście do większości pomieszczeń. Wnętrza ozdobione były głównie sztukaterią. Najbogatsza dekoracja znajdowała się w kaplicy zamkowej. Fasadę zdobiły malowidła ścienne przedstawiające różne postacie w ślepych oknach. Zamek oddzielony był od rynku prostym murem z barokową bramą. W tej formie zamek zachował się praktycznie do dziś.
Kompleks zamkowy składa się z trzech części: samego zamku, kościoła parafialnego i dziedzińca jesionowego. Kompleks w zasadniczy sposób uzupełnia 150-metrowy korytarz łączący zamek z kościołem, który obecnie nie działa, a do niedawna był wykorzystywany do celów archiwów państwowych. Cały historyczny kompleks został następnie zmieniony po 1920 r. poprzez budowę sokolarni na miejscu spichlerza. Zmianę tę poprzedziło jednak usunięcie kompleksu cmentarnego i jego murów wokół kościoła w oparciu o nowoczesne przepisy higieniczne. Z cmentarnego ogrodzenia pozostała jedynie kaplica św. Floriana, patrona strażaków, której nie sposób przeoczyć przejeżdżając przez miasto.