Noordwestelijk vanuit het huidige kasteel Komorní Hrádek stond op een steile klip boven het dal van de Sázava een burchtje genaamd Hrádek Čajchanov, aangelegd ergens aan het einde van de 13de eeuw, en de overgebleven restanten ervan kunnen wij nog 200 m van het huidige kasteel vinden. Rond 1400 was het burchtje eigendom van Jan Zoula van Ostředek, die samen met zijn gevolg deelnam aan een kleine binnenlandse Tsjechische oorlog, in de tijd dat de koning Wenceslaus IV door een groep edellieden gevangen was gehouden. In 1404 was Zoula met zijn consorten gevangen genomen door het landelijke leger en Hrádek werd gesloopt. De plaats waar het stond, samen met erbij horende landgoederen, werd door de vorst aan zijn lakei Mikuláš geschonken.
Noordwestelijk vanuit het huidige kasteel Komorní Hrádek stond op een steile klip boven het dal van de Sázava een burchtje genaamd Hrádek Čajchanov, aangelegd ergens aan het einde van de 13de eeuw, en de overgebleven restanten ervan kunnen wij nog 200 m van het huidige kasteel vinden. Rond 1400 was het burchtje eigendom van Jan Zoula van Ostředek, die samen met zijn gevolg deelnam aan een kleine binnenlandse Tsjechische oorlog, in de tijd dat de koning Wenceslaus IV door een groep edellieden gevangen was gehouden. In 1404 was Zoula met zijn consorten gevangen genomen door het landelijke leger en Hrádek werd gesloopt. De plaats waar het stond, samen met erbij horende landgoederen, werd door de vorst aan zijn lakei Mikuláš geschonken.
In 1412 ontving de burggraaf van Vyšehrad, Racek van Dvojice, van de koning de toestemming om een nieuwe burcht te bouwen. Zijn burcht werd Veselé (het Vrolijke) genoemd. Racek verbleef hier tot 1416, toen hij als boodschapper van de koning door mijnwerkers in Kutná Hora werd vermoord. Later verkocht zijn weduwe haar recht op het plaatselijke landgoed aan Vilém Kostka van Postupice. Na hem werd zijn oudste zoon Bohuš de heer op de burcht en kocht nog de naburige burcht Dubá erbij. In 1516 was hij de eigenaar van Hrádek en de goederen van het voormalige Sázava-klooster. In 1525 werd Hrádek door Jaroslav van Šelmberk verkregen, die een lange tijd het ambt van de hoogste kamerdienaar in het Tsjechische Koninkrijk bekleedde en naar zijn functie werd zijn zetel Komorní Hrádek (Burchtje van Kamerdienaar) gaan heten.
De omvangrijke renaissancistische verbouwing en uitbreiding van het kasteel dateren pas uit de tijd van het voogdijbestuur van het landgoed na de dood van Albrecht baron von Wallenstein: er was een oostelijke vleugel gebouwd met hoofdtrap en grote zaal, alle vier vleugels van het kasteel bereikten de hoogte van twee voetstukken, op sommige plaatsen waren nieuwe gewelven gebouwd. De frontgevels werden versierd met graffito in de vorm van enveloppen. De volgende bouwer van Hrádek was Adam von Wallenstein, die belangrijke ’s landsambten bekleedde (de hoogste burggraaf, stadhouder). Hij liet op Hrádek de middeleeuwse schans voor de westelijke en gedeeltelijk ook zuidelijke voorgevel van het kasteel slopen, liet de ophaalbrug over de burchtgracht verwijderen en liet een nieuw een verdieping hoog kasteel bouwen, met drie vleugels en een prismatische toren boven de hoofdingang. De gracht werd voor de westelijke voorgevel met een stenen brug overwelfd, op de plaats van de volgestorte zuidelijke gracht werd een renaissancistische tuin aangelegd. Adam’s zoon Jan Viktorin voerde rond 1660 een kostbare binnenverbouwing van het kasteel uit. Enkele kamers op de begane grond werden met maniëristische stucdecoraties versierd, welke binnen dit areaal de grootste waarde hebben uit het oogpunt van de monumentenzorg.
Vervolgens werd Hrádek onder Franz Josef von Wallenstein, die het landgoed in 1713 verkreeg, aan de barokke stijl aangepast. In de noordelijke vleugel van het oude kasteel werd een grote kapel gebouwd met een voorgevel in de richting van de binnenplaats. In de hoofdvleugel van het nieuwe kasteel werd een grote zaal ingericht, met een verhoogd plafond en rijke stucdecoraties. Op een vergelijkbare wijze waren ook overige vertrekken op de 1ste verdieping versierd. Men kan hier figuurmotieven aanschouwen, ornamentele decoratieve elementen, beschilderingen van plafonds en wanden, dit alles in de geest van de culminerende barok.