Podle kroniky tzv. Beneše Minority byl benešovský konvent minoritů založen v roce 1247, a to proboštem staroboleslavské kapituly Tobiášem z Benešova. Tobiáš měl nové komunitě věnovat rodové sídlo Benešoviců, které stávalo na ostrožně nad dnešním městem, dnes zvané Karlov. Zachoval se pouze zbytek pětibokého kněžiště se dvěma gotickými okny a zbytky kružeb.
Hrad byl postaven kolem r. 1300 v sevřeném údolí na ostrohu nad soutokem Tisemského a Janovického potoka. Jako první majitel se uvádí r. 1318 Ctibor z Kožlí. Od r. 1362 se po něm psal Kunrát z Kožlí, který zde sídlil se svými bratry Marešem a Heřmanem z Chvojna.