Op de plaats van het huidige kasteel stond een tweede, jongere vesting, die waarschijnlijk halverwege de 15e eeuw werd gebouwd nadat de oudere vesting, die ten zuidwesten van Kácov op de linkeroever van de rivier de Sázava bij Soušice lag, was verlaten. Aangezien Kácov vanaf het begin van de 14e en 15e eeuw verdeeld was tussen verschillende eigenaren, kan niet worden uitgesloten dat er gedurende een bepaalde periode twee forten naast elkaar hebben bestaan.
De vesting op de plaats van het kasteel is gedateerd op 1473, toen driekwart ervan toebehoorde aan Kuneš van Olbramovice. De bouwer koos een plek in het zuidelijke deel van Kácov aan de rand van een rotsachtige helling die steil afloopt naar de rivier de Sázava. Deze helling vormde een natuurlijke versterking, die aan de noordkant werd aangevuld met een kunstmatige versterking, die nu volledig is verdwenen. De oorspronkelijke vorm van de vesting kan niet worden gereconstrueerd na verschillende reconstructies.
In 1627, tijdens het bewind van Jan Oktavián Kinský, brak er een lijfeigenenopstand uit op het landgoed Kákovský en de opstandelingen plunderden de vesting. Pas in 1630 liet Benigna Catharina van Lobkowitz de vesting repareren en vergroten. Er werd een klein barok kasteel van één verdieping gebouwd, met een stenen begane grond en een houten eerste verdieping. Het kasteel werd verder uitgebreid onder František Scheidler. Tussen 1727 en 1733 liet de Toscaanse prinses Anna Maria Franziska de ruïne van het kasteel in Kács, dat door de vorige eigenaars met schulden was verwaarloosd, herbouwen in de stijl van een barokke Noord-Italiaanse adellijke residentie. De reconstructie veranderde het uiterlijk van de voormalige vesting volledig, verwijderde de laatste overblijfselen van de vestingwerken en alleen enkele van de funderingsmuren van het oude gebouw zijn overgebleven. Het nieuwe kasteel werd gebouwd op oneffen terrein, zodat de zuidelijke gevel met uitzicht op de rivier de Sázava twee verdiepingen had, terwijl de noordelijke gevel, waar zich de hoofdingang bevond, één verdieping had. Het kasteel was gebaseerd op een rechthoekige plattegrond, waarbij de kortere westelijke en oostelijke zijden versierd waren met torenachtige uitsteeksels. Deze uitsteeksels waren even hoog als het hoofdgebouw en werden daarom geaccentueerd door barokke uivormige torens. Binnenin was de as van het kasteelgebouw een gang die door beide verdiepingen liep en die op het hoogste punt boven het dak van het kasteel uitstak in de vorm van een rechthoekige halve mantel, waardoor een silhouet ontstond dat typisch was voor het kasteel. De gang was de toegang tot de meeste kamers. De interieurs waren voornamelijk versierd met stucwerk. De rijkste decoratie was in de kasteelkapel. De gevel was versierd met muurschilderingen die verschillende figuren in de blinde ramen voorstelden. Het kasteel werd van het plein gescheiden door een gewone muur met een barokke poort. Het kasteel is in deze vorm praktisch tot op de dag van vandaag bewaard gebleven.
Het kasteelcomplex bestaat uit drie delen: het kasteel zelf, de parochiekerk en de essenhof. Een 150 meter lange verbindingsgang tussen het kasteel en de kerk, die nu buiten gebruik is en tot voor kort werd gebruikt voor staatsarchiefdoeleinden, maakt het complex op een fundamentele manier compleet. Het hele historische complex werd na 1920 verder veranderd door de bouw van een valkerij op de plek van de graanschuur. Deze verandering werd echter voorafgegaan door de verwijdering van het begraafplaatsencomplex en de muren rond de kerk op basis van moderne hygiënevoorschriften. Alleen de kapel van St. Florian, de beschermheilige van de brandweer, is overgebleven van de omheining van het kerkhof, die onmogelijk te missen is als je door de stad rijdt.