Rataje se v písemných záznamech objevují k roku 1336 jako opevněné městečko se dvěma hrady. Dolní hrad zvaný Pirkenštejn patřil v 15. století Hynkovi Ptáčkovi. Politická situace po bitvě u Lipan dovedla Hynka Ptáčka z Pirkštejna k osudovým krokům. V roce 1437 musel obléhat Sion, hrad svého synovce Jana Roháče z Dubé. Hrad dobyl a synovci tím pomohl na šibenici. Radostnější snad pro něho bylo provdání jediné dcery za Viktorina, syna krále Jiřího. Horní hrad byl přestavěn na zámek po roce 1670. Zachovaly se z té doby pěkné arkády v zámecké budově a v archivu Národního muzea tzv. Talamberský kodex, kniha obsahující poučení o právním řádu, sepsaná právě tady.