Le château-fort supérieur du 14e siècle a été reconstruit au 15e siècle sur un château de la renaissance. Le château a été construit en 1675 par Frantisek Maxmilian de Talmberk avec la participation du constructeur O. de Guarde.
Le château-fort a été construit au cours de la 1ère moitié du 14e siècle par Jindrich de Lipa, il a été nommé Pirkstejn en 1366 pour commémorer le siège d’origine de la famille des seigneurs de Lipa et de Duba. Au cours de la 1ère moitié du 15e siècle le château-fort était en procession de l’homme politique important de l’époque Hynek Ptacek de Pirkstejn.
Majestátní kamenné sídlo stojí na skalnatém ostrohu nad řekou Sázavou už téměř 780 let. V jeho zdech se vystřídalo na 20 generací rodu Sternbergů. Během prohlídky se návštěvníci seznámí s příběhy zejména posledních majitelů a způsobem jejich života. Přístupná je i jižní předsunutá bašta hradu, zvaná „hladomorna“, která byla součástí důmyslného opevňovacího systému.