Le château est probablement de fondation royale, bien que les débuts de son histoire ne soient pas documentés. La première mention écrite de Zbořený Kostelec (appelé à l'origine Kostelec nad Sázavou) remonte à 1341, lorsque le roi Jean de Luxembourg le donna en gage à Oldřich de Valdek, propriétaire de la ville voisine de Týnec.
Après le décès de Charles IV le château se trouve pendant une certaine période en propriété royale, mais par la suite le burgrave de Vysehrad Chval de Rzavy l’obtient en gage et ensuite même en possession hérétique. En 1411 devient Jan Sadlo de Smilov l’important propriétaire du château-fort, conseiller et favori du roi Vaclav IV. Après le décès de Jan les biens sont gérés par son fils du même nom. Celui-ci participa en 1435 de la conquête du château-fort des taborites Ostromec, dont la garnison causait des préjudices aux biens d’environs aux partisans de communion sous une espèce. Il participa en mars 1440 aux négociations des régions de Kourim, Caslav, Hradec Kralove et de Chrudim sur la persévération de la paix au pays. Il a été également élu lors de ces négociations en fonction du maïeur de la région Kourim. Jan acheta par la suite le château-fort de Lestno avec sa seigneurie et il a vendu Kostelec en 1443. Le nouveau propriétaire, Kunes de Duba, dit Rozkos (Volupté) (entre autre le petit-fils de Jan Zizka de Trocnov) entreprend à partir de Kostelec des attaques de pillage autour dans la région très vaste lors de combats du côté des adversaires des catholiques réunis autour de Jiri de Podebrady. Mais comme Kunes signa l’acte de la « persévération de la paix au pays » et malgré tout il causait au Royaume de Bohème des préjudices par « feu, vols et pillages » Kostelec est en 1449 en l’état de siège, mais sans aucun résultat. Suite à un cessez de feu très court Kostelec se trouve a en mai 1450 denouveau à l’état de siège par les armées de Jiri de Podebrady et des Pragois. Malgré le fait que dans le cadre de l’assistance sont partis les effectifs de l’un des alliés, à savoir du duc Saxonne vers la ville de Most, pour aider ainsi au château-fort qui se trouvait là-bas en état de siège, Kostelec a été tôt conquis. De l’importance militaire et politique du château fort témoigne le fait que Jiri de Podebrady participa en personne à deux conquêtes du château-fort. On dit dans le camp des assiégeurs était présent également Jan Sadlo jeune, très probablement grâce à ses connaissance du château et de ses faiblesses. La seigneurie de Kostelec a été distribué et le château-fort désert est devenu par la suite une propriété de Zdenek de Sternberk qui le fortifia et élargi. Le château-fort désert a été par la suite rajouté à la seigneurie de Konopiste et laissé sans soins. IL appartenait depuis le 18e siècle aux comtes de Vrtba, propriétaire de Tynec avoisinant. Peut être qu’au cours du 19e siècle le site du château-fort a été partiellement nettoyé, le chemin à travers la fosse a été facilité par les installations des marches en pierre et certaines couronnes des murs ont été sécurisées. Probablement dans l’espace de la cour supérieure a été construite une gloriette avec une vue donnant sur la vallée de la Sazava et dont rien n’a été conservé jusqu’à présent.
A l’époque actuelle l’association civique de l’Ordre des chevaliers de la croix blanche s’efforce à sauver le château. L’objectif de l’ordre est de sécuriser statiquement les restes des bâtiments et des murs de la forteresse et de créer ici des espaces et l’arrière pour une présentation du château-fort et de son histoire même pour des manifestation culturelles intégrées dans son environnement historique….