Další ze zajímavých architektonických památek, které dodávaly přírodně krajinářskému parku jeho romantické kouzlo a která se zachovala do dnešních dnů je tzv. Starý hrad. Stojí na strmé skále nad řekou Blanicí a svou pseudogotickou věží a cimbuřím připomíná středověké opevnění. Arkýř hradu je vytesán z červeného pískovce, který se těžil v permské pánvičce nedaleko Vlašimi u Chobota.
V době svého vzniku byl větší. Podle tradice byla jeho jediná místnost se třemi okny vybavena „čarovným nábytkem“, který se měl pomocí dnes již neznámého mechanismu před očima udivených návštěvníků pomalu nořit pod podlahu, až úplně zmizel. Proto byla stavba také někdy označována jako Kouzelný hrad. Ovšem již v 19. století prošel Starý hrad přestavbou, při níž byl zmenšen a přišel také o svůj kouzelný nábytek. Následně ovšem opět chátral, až se prolomila střecha a opadalo cimbuří z věže. Aby se zabránilo jeho úplnému zničení, byl na počátku 90. let minulého století pronajat k soukromé rekreaci. Od roku 2001 má hrad v pronájmu Český svaz ochránců přírody ve Vlašimi, který jej postupně přebudoval na muzejní expozici vztaženou k zámeckému parku.
Přes údolí nedaleko Starého hradu vedl tzv. Divoký most, který byl zhotoven z neopracovaného kmene stromu, jehož větvoví tvořilo zábradlí. V údolí pod hradem se nacházel Kanárčí ostrov a tajný soud v Domu noci, kde byl umístěn černý stůl a kolem sedm kamenných sedadel.