Die Burg ist wahrscheinlich eine königliche Gründung, obwohl die Anfänge ihrer Geschichte nicht dokumentiert sind. Die erste schriftliche Erwähnung von Zbořený Kostelec (ursprünglich Kostelec nad Sázavou) stammt aus dem Jahr 1341, als König Johann von Luxemburg sie an Oldřich von Valdek, den Besitzer des benachbarten Týnec, verpfändete.
Nach dem Tode von Karel IV. befand sich die Burg eine gewisse Zeit im Besitz der Krone, später bekommt sie der Burggraf von Výšehrad, Chval von Rzavý zum Lehnen und letztendlich auch zum Erbbesitz. Im Jahre 1411 wird Jan Sádlo von Smilkov, der Ratgeber und Günstling des Königs Václav IV. zum einflussreichen Besitzer der Burg. Nach Jans Tod nimmt sich sein gleichnamiger Sohn der Kostelecer Besitzungen an. Dieser war im Jahre 1435 an der Eroberung der Taboraner Burg Ostromeč beteiligt, dessen Besatzung in der Gegend große Schäden an den Gütern der Vertreter der Katholiken (Unter einer Gestalt) anzurichten pflegte. Im März des Jahres 1440 beteiligte er sich am Abkommen der Landkreise Kouřim, Čáslav, Hradec und Chrudim und unterschrieb das Protokoll über die Erhaltung des Landesfriedens. Bei diesem Abkommen wurde er überdies zum Hauptmann des Landkreises Kouřim bestellt. Jan kaufte später die Burg Léštno mit Herrschaft und 1443 veräußerte er Kostelec. Deren neuer Besitzer, Kuneš z Dubé, Rozkoš (Wonne genannt - u.a. ein Enkel von Jan Žižka von Trocnov), unternimmt von Kostelec aus räuberische Überfälle in die weite Umgebung, beim Kampf auf der Seite der katholischen Widersacher von Jiří (Georg) von Poděbrady. Weil Kuneš aber den sog. "Landesfrieden" unterschrieben und dennoch dem böhmischen Königreich mit „Feuer, Raub und Waffengewalt“ Schaden zuzufügen pflegte, wird Kostelec im Jahre 1449 ergebnislos belagert.
Nach einem kurzen Waffenfrieden im Mai des Jahres 1450 wird es aufs Neue von einer Allianz der Heere von Jiří von Poděbrady und der Prager belagert. Obwohl im Rahmen militärischer Hilfe sogar eine Bereitschaft einer der Verbündeten, des sächsischen Herzogs Friedrich zur Stadt Most aufrückte, um der umlagerten Burg zu helfen, indem sie einen Teil der böhmischen Truppen band, wurde Kostelec in kurzem eingenommen. Von der militärischen und politischen Bedeutung der Burg zeugt die Tatsache, dass Jiří von Poděbrady an beiden Belagerungen persönlich teilnahm. Im Lager der Belagerer war angeblich auch Jan Sádlo der Jüngere anwesend, wohl seiner Kenntnis der Burg und deren Schwachstellen wegen. Die Kostelecer Herrschaft wurde aufgeteilt und die verwaiste Burg fiel später an Zdeněk von Šternberk, der sie befestigte und erweiterte. Später wurde die verlassene Burg der Herrschaft Konopiště angeschlossen und ihrem Schicksal überlassen. Vom Ende des 18. Jahrhunderts gehörte es den Grafen von Vrtba, den Besitzern des benachbarten Týnec. Wahrscheinlich irgendwann im Verlauf des 19. Jahrhunderts wurde das Burgareal teilweise gesäubert, der Weg über den Burggraben durch Steinstufen leichter gemacht und einige Mauerkronen gesichert. Wahrscheinlich im Bereich des oberen Burghofes wurde eine Laube mit Blick auf das Sázava-Tal erbaut, von der jedoch nichts übrig geblieben ist.
Derzeit bemüht sich die Bürgergemeinschaft Ritterorden zum Weißen Kreuz um die Rettung der Burg. Ziel des Ordens ist es, die Reste der Burggebäude und -mauern statisch zu sichern und hier Räume und das technische Umfeld zur Präsentierung der Burg und ihrer abwechslungsreichen Geschichte, sowie zu kulturellen Veranstaltungen in dieser historischen Szenerie schaffen...