Na miejscu dzisiejszego zamku znajdowała się druga, młodsza twierdza, która prawdopodobnie została zbudowana w połowie XV wieku po tym, jak starsza twierdza, położona na południowy zachód od Kácova na lewym brzegu rzeki Sázava w pobliżu Soušic, popadła w ruinę.
Ponieważ od przełomu XIV i XV wieku Kácov był podzielony między kilku właścicieli, nie można wykluczyć, że przez pewien czas istniały obok siebie dwie twierdze. Twierdza na miejscu zamku pochodzi z 1473 roku, kiedy trzy czwarte należało do Kuneša z Olbramovic. Budowniczy wybrał miejsce w południowej części Kácova, na skraju skalistego zbocza opadającego stromo do rzeki Sázavy. Zbocze to tworzyło naturalną fortyfikację, która została uzupełniona od strony północnej sztuczną fortyfikacją, która obecnie całkowicie zniknęła. Po kilku rekonstrukcjach nie udało się odtworzyć pierwotnej formy twierdzy do ostatecznego kształtu zamku.