Raně gotický hrad z poloviny 13. stol. stojí na strmém skalním ostrohu, svíraném pravým břehem řeky Sázavy a Olešenským potokem. Patrně zde dříve stála dřevěná tvrz na ochranu Sázavské kupecké stezky, která navazovala na Haberskou. Původní hrad s věží, východním palácem a parkány, byl v průběhu staletí postupně přistavován pozdně goticky, renesančně, barokně - až do dnešní podoby.
Z východní strany byl hrad chráněn hlubokým, uměle vyhloubeným šíjovým příkopem, přes který vedl dřevěný most, který byl v roce 1838 nahrazen kamenným. Skála, která od pradávna tvořila pravý břeh řeky Sázavy, byla z důvodu budování komunikace uměle ztesána. Ze severní strany, po příkrém svahu tzv. „stoupačce“, se pomocí volského potahu dopravovalo do hradu zboží. Přístup na první nádvoří (bývalé předhradí) chránily bašty se střílnami. V roce 1642 baron Hadrián z Enkefurtu nechal postavit monumentální, raně barokní kamenný portál, na kterém jsou vytesány jejich rodinné erby a latinský nápis „Vivit post funera virtus“ (I po smrti žije statečnost). Spodní nádvoří lemují jednopatrové budovy, severně zakončené půlkruhovou baštou, která sloužila jako vězení. Průchodem přístavby spojující věž s jižním traktem budov se vchází na horní nádvoří, kde dominuje raně gotická válcová věž vysoká 32 m. Celé horní nádvoří je vydlážděno hrubými kameny (kočičími hlavami). Severní a východní stranu vymezuje mohutná dvoukřídlá stavba paláce, v jejímž rohu nad arkádami je renezanční lodžie s balustrovým zábradlím, krytá břidlicovou stříškou. V přízemí severního křídla tzv. malého paláce je od roku 1938 muzeum. Na západní straně nádvoří stojí bývalá konírna. Zbývající část horního nádvoří je z jižní strany uzavřena jednopatrovou budovou. Na obou nádvořích jsou kašny z pískovcového kamene ze 17. stol. Přístup na hrad z jihovýchodní strany vede po kamenném mostě z roku 1838 přes kulisovou bránu, průchodem hlavního paláce na horní nádvoří. Z mostu je výhled na hradní parkány, kde v místě pravého parkánu stával padací most. V levém parkánu je barokní altánek se sgrafitovou výzdobou.
Na hradu je připraveno pro návštěvníky hned několik prohlídkových okruhů. Jedním je okruh muzejní, kde naleznete jednu z nejrozsáhlejších expozic historických hodin s velmi vzácnými kousky až z období renesance. Průvodce vás rovněž provede na historickém okruhu hradními prostory, kde se dozvíte především o historii hradu a Ledečska. Pokud navštívíte hrad s dětmi, neměli byste zapomenout ani na dětský okruh s největší výstavou plyšových medvídků a pravou rytířskou zbrojnicí. Za zmínku stojí i Muzeum Jaroslava Foglara a hradní věž, které si můžete prohlédnout již sami bez doprovodu průvodce.