Podle PhDr. Tomáše Durdíka, předního českého odborníka v otázkách hradní architektury, byl hrad možná založen Václavem II. S predikátem "z Kostelce" se ovšem setkáváme již roku 1280, kdy je zaznamenána zmínka o Dětřichu z Kostelce, královském podkomořím v letech 1271 - 1278. Souvislost s naším Kostelcem se bohužel dosud nepodařilo prokázat. První písemná zmínka o Zbořeném Kostelci (původně se jmenoval Kostelec nad Sázavou) pochází až z roku 1341, kdy jej král Jan Lucemburský dává do zástavy Oldřichu z Valdeka, majiteli sousedního Týnce. Ke svým poddaným se však nový majitel zřejmě nechoval nejlépe, jak dokládá jejich stížnost ke králi. O oprávněnosti jejich požadavku svědčí listina, v níž budoucí král Karel IV. v době nepřítomnosti Jana Lucemburského dovoluje, že se obyvatelé města Vadslavic (dnešních Václavic) a dalších šesti vesnic, patřících k panství, mohou vyplatit ze zástavy. Později Karel IV. vykupuje samotný hrad Kostelec a opět jej několikrát zastavuje (Kostelec mj. uvádí v Maiestas Carolina mezi těmi královskými hrady, které lze zastavit na dobu maximálně šesti let a to ještě jen "pro pilnú potřebu a obecné dobré České země").
Novým zástavním majitelem se stal Jakub, syn podkomořího českého krále, Frenclina. Roku 1357 totiž byl jmenován ke kostelu v Olešce nový farář Václav, a to "urozeným panem Jakubem z Kostelce, synem někdy Frenclina podkomořího Království českého".
Od roku 1360 má hrad v zástavě Jan z Hardeku, purkrabí magdeburský, se svou ženou Lenou (Helenou). Jan z Hardeka byl spřízněn s Habsburky a Lucemburky a Karel IV. jej nazýval svým "sestřencem".
Po smrti Karla IV. se hrad načas nachází v královském držení, později jej vyšehradský purkrabí Chval ze Rzavého dostává do zástavy a nakonec i do dědičného držení. Ten se stal účastníkem střetnutí mezi králem Václavem IV. a arcibiskupem Janem z Jenštejna, když na příkaz krále napadl Jana z Michalovic, který arcibiskupa podporoval. Později u krále zakročili Jan z Michalovic, Jindřich z Rožmberka, Petr z Vartemberka a další čeští páni a pohrozili, že Chvala z Kostelce zabijí, jestliže jej dopadnou.
Po roce 1399 získává hrad v držení Filip Laut z Dědic, nejvyšší lovčí Království českého. Roku 1411 se významným držitelem hradu stává Jan Sádlo ze Smilkova, rádce a oblíbenec krále Václava IV. Vzhledem ke svému postavení v blízkosti krále zastával také vysoké úřady - od roku 1407 byl královským komořím, později např. purkrabím na Bezděze, Karlštejně a členem královské rady. Jelikož Jan ze Smilkova byl velmi dobře zapsán u krále, neboť patřil k jeho předním milcům, obdržel od něho výjimečné privilegium. Král roku 1415 potvrdil Janovi ze Smilkova, "seděním na Kostelci, našemu komorníkovi" udělení zvláštní milosti, kterou ho vyňal z pravomoci zemského i dvorského soudu a zaručil mu, že může být viněn a souzen pouze hofmistrem či maršálkem krále. Jan sám se velmi živě účastnil politického a veřejného života v zemi. Ve dnech 2. a 5. září 1415 také on přivěsil pečeti ke dvěma stížným listům české šlechty na protest proti upálení Mistra Jana Husa v Kostnici. Je na nich uváděn jako "Jan z Miličína neboli z Kostelce".
Jan patřil k umírněným zastáncům husitského hnutí, pročež upadl časem v podezření ze zrady. Když se Jan o tomto podezření dozvěděl, chtěl se z něho očistit a poslal do Prahy žádost o glejt, aby se tam mohl dostavit. Pražané mu v listě napsali, že může bezpečně přijet, že udavačským řečem o něm nevěří, ale když v pondělí 20. října 1421 přijel v doprovodu dalších šlechticů "a když se svrchuuvedenými pány vstoupil skoro o nešporní hodině na radnici, aby se ospravedlnil, byl od konšelů zajat a téhož dne o druhé hodině noční na radnici sťat."
Jan Sádlo ze Smilkova se svému přesvědčení zřejmě nikdy nezpronevěřil. Roku 1420 však učinil osudovou chybu. Byl totiž příbuzným a přítelem pana Aleše z Březí, který se později stal biskupem litomyšlským a velkým nepřítelem reformního hnutí v Čechách. Jan mu v jeho politické činnosti vypomohl zřejmě nemalými částkami, za což obdržel 27. března roku 1420 přímo od císaře Zikmunda zápis, opravňující jej ke správě statků řečeného biskupství na tak dlouho, než mu dlužné peníze budou zaplaceny. Jinou záminkou ke stětí Jana bylo prý též to, že se se svým lidem nedostavil do pole, ač ho o to Pražané žádali. Hlavní roli ale zřejmě sehrála jeho kritika Jana Želivského za přílišný radikalismus a zasahování do světských záležitostí.
Druhý den po popravě byl Jan Sádlo pochován bez obřadu v kostele sv. Mikuláše na Starém městě. V kronice Václava Vavřince z Březové se můžeme dočíst: "Tak skonal onen Jan, který byl předním milcem a vůdcem Václava, věrně podporoval pravdu přijímání pod obojí a stíhal všechny neřády nezaložené na zákonu Páně. Většina Pražanů s žalostí oplakávala jeho smrt."
Po Janově smrti se kosteleckého majetku ujal stejnojmenný syn. Ten byl v roce 1435 účastníkem dobývání táborského hradu Ostromeč, jehož posádka činila velké škody v okolí na zboží stoupenců strany pod jednou. V březnu roku 1440 se zúčastnil jednání Kouřimského, Čáslavského, Hradeckého a Chrudimského kraje a podepsal se pod zápis o zachovávání zemského míru. Na jednání byl rovněž zvolen za hejtmana Kouřimského kraje. Jan později zakoupil hrad Léštno s panstvím a Kostelec roku 1443 prodal.
Nový majitel, Kuneš z Dubé, řečený Rozkoš (mj. možná vnuk Jana Žižky z Trocnova - není jisté, zda si Žižkovu dceru vzal jeho otec či strýc), podniká z Kostelce loupežné výpady do širokého okolí při boji na straně katolických protivníků Jiřího z Poděbrad. Protože však Kuneš podepsal tzv. "zemský mír" a přesto českému království škodil "ohněm, braním a loupežími", je Kostelec v roce 1449 bezvýsledně obléhán. Po krátkém příměří je v květnu roku 1450 obležen podruhé vojsky Jiřího z Poděbrad a Pražanů. Přestože v rámci pomoci vytrhla dokonce hotovost jednoho ze spojenců, saského vévody Friedricha, k městu Mostu, aby tak odlehčila obléhanému hradu a vázala část českých vojsk, byl Kostelec záhy dobyt. O vojenském a politickém významu hradu svědčí skutečnost, že obou těchto obléhání se Jiří z Poděbrad zúčastnil osobně. V táboře obléhatelů byl prý přítomen i Jan Sádlo mladší, zřejmě díky své znalosti hradu a jeho slabin.
Kostelecké panství bylo rozděleno a samotný pustý hrad později připadl Zdeňkovi ze Šternberka, který jej opevnil a rozšířil (zajímavostí je ovšem to, že za zabavený hrad a další majetek byla Kuneši z Dubé vyplacena náhrada ve výši 1.550 kop českých grošů). Po jeho roztržce s králem, kdy se Zdeněk ze Šternberka staví do čela tzv. Jednoty zelenohorské, oblehla královská vojska roku 1467 šest jeho hradů. Na listě ze 3. května 1467, který zaslali Zdeněk ze Šternberka a Jindřich z Hradce panu Janovi z Rožmberka, se mimo jiné dočteme následující zprávu: "I vědětiť dávám, že nám již u zámkuov našich leží u Konopiště, u Šternberka a u Kostelce, hubě nás." Poté, co padl nejpevnější z těchto šesti hradů, Roudnice, byl dobyt (nebo se vzdal) i Kostelec, následně rozbořen a již nikdy nebyl obnoven...