Sur les lieux du château actuel de Kacov se trouvait une forteresse plus jeune qui a été construite probablement dans la moitié du 15e siècle après ce que la forteresse plus ancienne est devenue déserte qui s’étendait au sud-ouest de Kacov sur la rive gauche de la Sazava près de Sousice. Vu le fait qu’à la charnière du 14e et 15e siècle Kacov était divisé entre plusieurs propriétaires, il n’est pas possible d’exclure l’éventualité que pendant un certain temps existaient les deux forteresses ensemble l’une à côté de l’autre. A la forteresse sur les lieux du château se rapportent les traces écrites de 1473 qui mentionnent que les trois quarts de la forteresse appartenaient à Kunes d’Olbramovice. Le constructeur a choisi une localisation dans la partie sud de Kacov au bord d’une pente rocheuse qui tombe brusquement vers la Sazava. Cette pente créait des remparts naturels qui ont été complétés dans la partie nord par des remparts artificiels qui n’existe plus à nos jours. La forme d’origine de la forteresse ne peut pas être reconstruite à nos jours suite aux plusieurs reconstructions.
Lors du règne de Jan Oktavian Kinsky a été déclenchée en 1627 sur la seigneurie de Kacov une résurrection des sujets et les insurgés ont dévasté la forteresse. Bnigna Katerina de Lobkovice l’a fait reconstruire après 1630. A cette époque-là a été créé un château baroque à un étage, dont le rez-de chaussé était en pierre et le premier étage en bois. L’élargissement suivant a eu lieu à l’époque de la propriété de Frantisek Scheidler. Au cours des années 1727 -1733 la princesse toscane Anna Marie Frantiska a fait reconstruire le château désert de Kacov, au quel les propriétaires précédents ne prêtaient pas beaucoup d’attention, dans le style baroque d’un siège de noblesse de l’Italie du nord. La reconstruction changea complètement la forme du site de l’ancienne forteresse, les dernières parties des remparts ont été enlevées et de l’ancien bâtiment ont été gardés seulement des murs de fondations. Le château neuf a été construit sur un terrain non plat et ainsi le portail sud tourné vers la Sazava était à deux étages, tandis que la partie nord, où se trouvait également l’entrée principale, était à un étage. Le château était disposé sur un plan rectangulaire, tandis ce que les parties plus courtes, partie ouest et est, ont étaient décorées par des petites tourelles. Ces tourelles étaient aussi hautes que le bâtiment principal et pour cette raison elles étaient soulignées par des coupoles type l’oignon. L’axe intérieur du bâtiment du château était créé par un corridor passant par les deux étages et qui a dans sa partie la plus haute dépassa le toit du château sous forme d’un demi-étage rectangulaire et par ce moyen a été créée la silhouette typique du château. L’entrée dans la plus part des locaux était à partir du corridor. Les intérieurs étaient décorés surtout par des stucs. Le décor le plus riche se trouvait dans la chapelle du château. Le portail était décoré par des peintures murales qui représentaient dans les fenêtres maçonnées des différentes figurines. Le château était séparé de la place par un mur simple à une porte baroque. Le château a été conservé sous cette forme presqu’à nos jours.