Le château-fort supérieur du 14e siècle a été reconstruit au 15e siècle sur un château de la renaissance. Le château a été construit en 1675 par Frantisek Maxmilian de Talmberk avec la participation du constructeur O. de Guarde.
Le château-fort a été construit au cours de la 1ère moitié du 14e siècle par Jindrich de Lipa, il a été nommé Pirkstejn en 1366 pour commémorer le siège d’origine de la famille des seigneurs de Lipa et de Duba. Au cours de la 1ère moitié du 15e siècle le château-fort était en procession de l’homme politique important de l’époque Hynek Ptacek de Pirkstejn.
Hrad Talmberk založil Hroznata z Úžic z moravského rodu Kouniců někdy po roce 1284. Byl totiž purkrabím Pražského hradu a za služby prokazované králi Václavovi II. dostal území severně od řeky Sázavy, kolem Úžic. První písemná zpráva o hradu pochází z roku 1291, kdy došlo k dělení majetku mezi syny Hroznaty. Hrad se statkem tehdy dostal Arnošt, který ho dostavěl. Od poloviny 16. století je uváděn jako pustý.