Dorp Mrač wordt voor het eerst in 1318 vermeld, toen men over de plaatselijke landedelman Zdislav van Mrač schreef. Hij woonde zelf waarschijnlijk in de oudere vesting, waar slechts het vestingwerk van is overgebleven, ongeveer 100 m ten oosten van de later gebouwde nieuwe vesting die nog wel is bewaard. Het is een klein heuveltje met steile hellingen. Voor het vestingwerk is een kegelvormige verhoging, waar een houten blokhuis zou hebben gestaan. In 1356 werden andere landheren van Mrač genoemd, de gebroeders Oldřich, Vilém en Ješata. Maar de schriftelijke berichten over de vesting en de redenen waarom het vrij snel was vervallen, zijn niet bekend.
Aan het einde van de 14de eeuw was het landgoed van Mrač het bezit van de familie Benešovice. Deze eigenaars hadden hun zetel in de nieuwe vesting, iets verder van de zetel van Zdislav van Mrač gebouwd, aan het laagste eind van de heuvel boven de beek van Benešov. Deze vesting is tot nu toe bewaard. Als de eerste nieuwe eigenaars worden genoemd: aan het einde van de 14de eeuw Beneš van Lopřetice en Mrač, in 1410 Oldřich van Mrač en in 1438 Beneš van Dubá en van Mrač, voorouder van de dynastie Mračský van Dubé. Zijn nakomelingen bleven in de vesting tot de 1ste helft van de 16de eeuw wonen. In 1540 was de vesting door Jaroslav van Šelmberk en Kost senior gekocht, eigenaar van de naburige Hrádek nad Sázavou (nu Komorní Hrádek), die later de uitgebreide goederen van Mrač aan zijn echtgenote Anna, meisjesnaam Krajířová van Krajek overschreef. Haar erfgenaam werd haar zoon Jan (+1597), en na zijn dood werd de hoeve weer teruggevoegd aan Komorní Hrádek, in eigendom van Adam van Wallenstein junior. Zijn zoon Jan Viktorin van Wallenstein moest in 1648 Mrač in onderpand geven aan zijn schuldeiser Václav van Vrbno en Bruntál. De vesting werd in die tijd, na de Dertigjarige oorlog, als verlaten beschreven. In 1663 werd de hoeve van Mrač door Bernard Ignác van Martinice (+1685) gekocht, wiens dochter in 1690 deze erfenis aan haar echtgenoot Jan František van Vrbno en Bruntál overdroeg, de zoon van de toenmalige schuldeiser van de familie Wallenstein. Stenen van de vestingruïne werden voor de bouw van het kasteel – de zetel van Vrbnovský te Mrač - gebruikt. Uiteindelijk was de vesting eind 17de eeuw tot een graanschuur verbouwd. Zo diende het tot de 2de helft van de 19de eeuw, toen het aangepast was voor bewoning door arbeiders in de granietgroeve van Mrač. Het dient als een woonobject tot nu toe. Het is een gebouw met een verdieping, van een vierkante plattegrond, gebouwd uit de stenen van de groeve, ongepleisterd, overdekt met een wolfsdak. Aan de oostelijke zijde is met een stenen muur een binnenplaats in de vorm van een vierhoek aan de vesting gevoegd.
Kasteel dat door Vrbna’s na het verkrijgen van het landgoed Mrač boven de vervallen vesting werd gebouwd, vervulde de functie van een woonzetel van ridders. Volgens de beschrijving uit 1720 was de "woonzetel van ridders" geheel van stenen opgetrokken, met op de begane grond een kantoor, kamer voor de hoofdman, woonvertrek voor de zgn. graanklerk, twee keukens en twee provisiekamers. Op de bovenverdieping waren vertrekken voor de overheid: drie kamers, eetzaal en een kapel. Het object zou door een groter kasteel vervangen moeten worden, maar de aanleg vond geen plaats. In 1725 werd Mrač door Jan Josef van Vrtba gekocht en met Konopiště samengevoegd. De nieuwe zetel was verlaten en binnenkort was het slechts een grote ruïne van buitenmuren met openingen van ramen; zo is het tot vandaag gebleven.