Pierwsza wzmianka o wsi Mrač pochodzi z 1318 r., kiedy to udokumentowany jest lokalny władyka Zdislav z Mrača. Jego siedzibą była prawdopodobnie starsza twierdza, z której pozostała tylko twierdza, położona około 100 m na wschód od późniejszej, wciąż zachowanej twierdzy. Jest to niskie wzgórze o stromych zboczach. Przed twierdzą znajduje się jednorodny pagórek, na którym mogła stać drewniana chata zrębowa. W 1356 r. wymieniani są kolejni wladcy z Mrače, bracia Oldřich, Vilém i Ješata. Nie zachowały się żadne pisemne wzmianki o twierdzy, a powody, dla których wkrótce zniknęła, nie są znane.
Na początku XV wieku właścicielem twierdzy był Mikuláš (Mikeš) Divůček (tj. Divoký) z Jemniště i Cimburk. Wstąpił do służby króla Wacława IV i poznał Jana Husa na jego dworze. Był jednym z jego najbliższych przyjaciół i w 1414 r. ostrzegł go przed wyjazdem do Konstancji.
Prostokątny, dwukondygnacyjny budynek, w obecnej formie po barokowej przebudowie, wzmiankowany był już w 1373 roku.