The upper Gothic style castle from the 14th century was reconstructed into a Renaissance chateau in the 16th century. František Maxmilián of Talmberk built a chateau in 1675 with the participation of the architect O. de Guarde.
Hrad byl postaven v 1. polovině 14. století Jindřichem z Lipé, pojmenován byl Pirkštejn v roce 1366 na paměť původního rodového sídla pánů z Lipé a Dubé. Dnes jsou interiéry hradu návštěvníkům nepřístupné.
Hrad Talmberk založil Hroznata z Úžic z moravského rodu Kouniců někdy po roce 1284. Byl totiž purkrabím Pražského hradu a za služby prokazované králi Václavovi II. dostal území severně od řeky Sázavy, kolem Úžic. První písemná zpráva o hradu pochází z roku 1291, kdy došlo k dělení majetku mezi syny Hroznaty. Hrad se statkem tehdy dostal Arnošt, který ho dostavěl. Od poloviny 16. století je uváděn jako pustý.