According to the chronicle of the Beneš Minority, the Beneš Minorite Convent was founded in 1247 by the provost of the Old Boleslav chapter, Tobias of Benešov. Tobiáš was to dedicate to the new community the family seat of the Benešovice family, which stood on a promontory above the present-day town, now called Karlov. Only the remains of the pentagonal chancel with two Gothic windows and the remains of the cloisters have survived.
Zamek został zbudowany około 1300 roku w wąskiej dolinie na cyplu nad zbiegiem potoków Tisemský i Janovický. Ctibor z Kožlí jest wymieniany jako pierwszy właściciel w 1318 roku. Od 1362 r. jego następcą był Kunrát z Kožlí, który mieszkał tu ze swoimi braćmi Marešem i Heřmanem z Chvojna.
Na wschód od twierdzy znajdował się renesansowy dziedziniec gospodarczy, którego część do dziś zachowała unikalne sklepienie, a w czasach największego rozkwitu był centralnym dziedzińcem rozległych dóbr od Konopiszte do Komorní Hrádek. Na początku XVIII wieku w północno-zachodnim rogu dziedzińca rozpoczęto budowę barokowego zamku.
Zamek jest prawdopodobnie fundacją królewską, choć początki jego historii nie są udokumentowane. Pierwsza pisemna wzmianka o Zbořenym Kostelcu (pierwotnie zwanym Kostelec nad Sázavou) pochodzi z 1341 roku, kiedy to król Jan Luksemburski przekazał go w zastaw Oldřichowi z Valdku, właścicielowi sąsiedniego Tyńca.