Vu le fait qu’à la charnière du 14e et 15e siècle Kacov était divisé entre plusieurs propriétaires, il n’est pas possible d’exclure l’éventualité que pendant un certain temps existaient les deux forteresses ensemble l’une à côté de l’autre. A la forteresse sur les lieux du château se rapportent les traces écrites de 1473 qui mentionnent que les trois quarts de la forteresse appartenaient à Kunes d’Olbramovice. Le constructeur a choisi une localisation dans la partie sud de Kacov au bord d’une pente rocheuse qui tombe brusquement vers la Sazava. Cette pente créait des remparts naturels qui ont été complétés dans la partie nord par des remparts artificiels qui n’existe plus à nos jours. La forme d’origine de la forteresse ne peut pas être reconstruite à nos jours suite aux plusieurs reconstructions.