Am Standort des heutigen Schlosses stand einst eine zweite, jüngere Feste, die wohl zur Mitte des 15. Jahrhunderts entstand, als die alte Feste verfallen war, die südöstlich von Kácov am linken Ufer der Sázavy bei Soušice aufragte.
Angesichts des Umstandes, dass ab der Wende vom 14. zum 15. Jh. Kácov unter gleich ein paar Besitzern aufgeteilt war, ist nicht auszuschließen, dass beide Festen eine gewisse Zeitlang sogar nebeneinander existiert haben.
Auf die Feste am Standort des Schlosses bezieht sich ein Vermerk aus dem Jahre 1473, als sie zu drei Vierteln Kuneš von Olbramovice gehörte. Der Erbauer erwählte sich die Stelle im südlichen Teil von Kácov am Rande eines felsigen und schroffen Abhangs zur Sázava. Dieser Abhang bildete ein natürliches Befestigungselement, dass an der Nordseite durch eine künstliche Befestigung ergänzt wurde, die allerdings dem Zahn der Zeit zum Opfer fiel. Das ursprüngliche Aussehen der Feste lässt sich nach vielen Umbauten nicht mehr rekonstruieren.