Po śmierci Karola IV zamek tymczasowo należał do króla, a następnie tymczasowo przepadł i ostatecznie przeszedł jako spadek na burgrabiego wyszehradzkiego Chvala z Rzavé. W 1411 roku ważnym właścicielem zamku został Jan Sádlo ze Smilkova, doradca króla Wacława IV i jego ulubieniec. Po śmierci Jana kontrolę nad Kostelcem przejął jego syn o tym samym imieniu. W 1435 r. brał udział w oblężeniu zamku Taborytów w Ostromeču, którego żołnierze spowodowali znaczne szkody w okolicy i dobrach Jednoty. W marcu 1440 r. uczestniczył w negocjacjach między powiatami Kouřim, Čáslav, Hreadec i Chrudim i podpisał krajowy traktat pokojowy. Podczas negocjacji został również wybrany na kapitana okręgu Kouřim. Później Jan kupił zamek Léštno wraz z jego posiadłościami, a w 1443 r. sprzedał Kostelec. Kostelec stał się bazą wypadową dla napadów rabunkowych nowego właściciela, Kuneša z Dubé, alias Rozkoša (również wnuka Jana Žižki z Trocnova), walczącego po stronie katolickich przeciwników Jerzego z Podiebradów. Ponieważ Kuneš podpisał traktat pokojowy z krajem ziemskim, wyrządzając jednocześnie szkody Królestwu Czeskiemu, Kostelec był bezskutecznie oblegany w 1449 roku. Po krótkim rozejmie w maju 1450 r. został po raz drugi oblężony przez wojska Jiříego z Podiebradów i wojska mieszkańców Pragi. Pomimo interwencji wojskowej jednego ze sprzymierzeńców, księcia saskiego Fryderyka, w pobliżu miasta Most, które miało zostać zajęte przez część armii królewskiej i odciążyć zamek, Kostelec został wkrótce zdobyty. O militarnym i politycznym znaczeniu zamku może świadczyć fakt, że w obu oblężeniach brał udział sam Jiří z Podiebradów. Plotka głosi, że Jan Sádlo junior był obecny w obozie tych, którzy oblegali zamek, prawdopodobnie ze względu na jego dobrą znajomość zamku i jego słabych punktów. Majątek Kostelec został podzielony, a opuszczony zamek przypadł później Zdeněkowi ze Šternberka, który go ufortyfikował i rozbudował. Opuszczony zamek stał się później częścią majątku Konopiště i został pozostawiony swojemu losowi. Od końca XVIII wieku należał do hrabiów Vrtba, właścicieli sąsiedniego Tyńca. Prawdopodobnie w XIX wieku zamek został częściowo uporządkowany, nad fosą zbudowano kamienne schody i zabezpieczono część murów. Niewykluczone, że gdzieś na górnym dziedzińcu wybudowano pawilon z widokiem na dolinę Sázavy, jednak do dziś nic z niego nie pozostało.
Obecnie Zakon Rycerzy Białego Krzyża stara się uratować zamek. Ich celem jest zabezpieczenie pozostałych części zamku i stworzenie odpowiednich warunków do prezentacji zamku i jego historii, a także do organizacji wydarzeń kulturalnych w historycznym miejscu. . .