Sur les lieux du château actuel de Kacov se trouvait une forteresse plus jeune qui a été construite probablement dans la moitié du 15e siècle après ce que la forteresse plus ancienne est devenue déserte qui s’étendait au sud-ouest de Kacov sur la rive gauche de la Sazava près de Sousice. Vu le fait qu’à la charnière du 14e et 15e siècle Kacov était divisé entre plusieurs propriétaires, il n’est pas possible d’exclure l’éventualité que pendant un certain temps existaient les deux forteresses ensemble l’une à côté de l’autre. A la forteresse sur les lieux du château se rapportent les traces écrites de 1473 qui mentionnent que les trois quarts de la forteresse appartenaient à Kunes d’Olbramovice. Le constructeur a choisi une localisation dans la partie sud de Kacov au bord d’une pente rocheuse qui tombe brusquement vers la Sazava. Cette pente créait des remparts naturels qui ont été complétés dans la partie nord par des remparts artificiels qui n’existe plus à nos jours. La forme d’origine de la forteresse ne peut pas être reconstruite à nos jours suite aux plusieurs reconstructions.