Ves Mrač se poprvé připomíná v r. 1318, kdy je doložen místní vladyka Zdislav z Mrače. Jeho sídlem byla patrně starší tvrz, ze které zůstalo jenom tvrziště, ležící asi 100 m východně od pozdější, dodnes dochované tvrze. Je to nevysoký pahorek s příkrými svahy. Před tvrzištěm je homolovitý pahorek, na němž snad stával dřevěný srub. V r. 1356 se připomínají další vladykové z Mrače, bratři Oldřich, Vilém a Ješata. Písemné zprávy o tvrzi se nedochovaly a také důvody, proč brzy zanikla, nejsou známy.
Koncem 14. stol. přešlo mračské zboží do majetku Benešoviců. Tito majitelé sídlili na nové tvrzi, kterou postavili dále od někdejšího sídla Zdislava z Mrače, na nejnižším konci vyvýšeniny nad Benešovským potokem. Tato tvrz se dochovala dodnes. Jako první z nových majitelů se koncem 14. stol. uvádějí Beneš z Lopřetic na Mrači, v r. 1410 Oldřich z Mrače, v r. 1438 Beneš z Dubé a z Mrače, předek Mračských z Dubé. Jeho potomci zůstali na zdejší tvrzi do 1. pol. 16. stol. V r. 1540 koupil tvrz Jaroslav starší ze Šelmberka a z Kosti, majitel blízkého Hrádku nad Sázavou (nyní Komorní Hrádek), který později zapsal rozšířené mračské zboží své manželce Anně, rozené Krajířové z Krajku. Jejím dědicem se stal syn Jan (+1597), z jehož pozůstalosti se statek vrátil ke Komornímu Hrádku, do majetku Adama mladšího z Valdštejna. Jeho syn Jan Viktorin z Valdštejna musel dát r. 1648 Mrač do zástavy svému věřiteli Václavu z Vrbna a Bruntálu. Tvrz se v této době, po třicetileté válce, popisuje už jako pustá. V r. 1663 koupil mračský statek Bernard Ignác z Martinic (+1685), jehož dcera převedla r. 1690 toto dědictví na svého manžela Jana Františka z Vrbna a Bruntálu, syna někdejšího valdštejnského věřitele. Kámen ze zřícenin tvrze byl použit na stavbu zámku jakožto vrbnovského sídla v Mrači. Nakonec byla tvrz koncem 17. stol. přestavěna na sýpku. V této podobě se dochovala až do 2. pol. 19. stol., kdy byla upravena na příbytky pro dělníky mračských žulových lomů. Obytným účelům dnes neslouží. Je to patrová budova obdélníkového půdorysu, vystavěná z lomového kamene, neomítnutá, krytá valbovou střechou. Na východní straně je k ní připojeno kamennou zdí čtverhranné nádvoří.
Zámek, jež si Vrbnové po získání mračského statku postavili nad zpustlou tvrzí, plnil funkci obytného rytířského sídla. Podle popisu z r. 1720 bylo "obytné sídlo rytířské" celé zděné, v přízemí byly vrchnostenská kancelář, pokoj pro hejtmana, příbytek obilního písaře, dvě kuchyně a dvě komory. V patře byly místnosti pro vrchnost: tři pokoje, jídelna a kaple. Nevelký objekt měl být nahrazen větším zámkem; ke stavbě však nedošlo. V roce 1727 (podle smlouvy z 10. července téhož roku) koupil Mrač Jan Josef z Vrtby a spojil ji s Konopištěm. Nové sídlo zpustlo a brzy z něho zůstaly jenom velké zříceniny obvodového zdiva s okenními otvory; dochovaly se dodnes.
Mlýn
Mračtí z Dubé drželi Mrač ve 14. a 15. století. Rozsah jejich statku v 16. století známe k roku 1540, kdy obsahoval tvrz Mrač s poplužním dvorem a celou ves, mlýn v podmračí atd. Do roku 1760 patřil mlýn k panství. Podle zápisu ze dne 16. srpna roku 1760 prodal jej František, hrabě z Vrtby, majitel panství konopišťského Pavlu Párysovi za 410 zlatých rýnských. Jemu bylo zároveň uloženo: ve dny nedělní a sváteční, pokud služby boží trvají, žádného meliva nepřijímati ani nevydávati. Historie mlýna je bohatá. Naposledy mlel v roce 1950, kdy byl vyřazen z provozu v rámci celostátní úpravy znárodněných podniků. Z původního náhonu vznikla malá vodní elektrárna a poslední rekonstrukce celého areálu mlýna je honosná a stala se chloubou obce.