Ursprünglich stand an Stelle der Burg eine Feste, auf der in der 1. Hälfte des 14. Jahrhunderts Heřman Chvalovský von Ledec erwähnt wird, der sich von hier aus als „von Zruč“ schrieb. Ob gerade er es war, der anstelle der Feste eine Burg gründete, ist nicht bekannt.