Na wschód od twierdzy znajdował się renesansowy dziedziniec gospodarczy, którego część do dziś zachowała unikalne sklepienie, a w czasach największego rozkwitu był centralnym dziedzińcem rozległych dóbr od Konopiszte do Komorní Hrádek. Na początku XVIII wieku w północno-zachodnim rogu dziedzińca rozpoczęto budowę barokowego zamku.
Ta rycerska rezydencja zbudowana dla Jana Františka z Vrbna i Bruntála pierwotnie miała służyć jako zamiennik mało komfortowego zamku, ale około 1727 roku została opuszczona, spalona i zrujnowana. Niektóre źródła błędnie podają, że rezydencja nie została ukończona, ale chociaż jej istnienie było krótkotrwałe, w 1720 r. miała trzy skrzydła z nowoczesnym wówczas „dworem honorowym” i mierzyła 40 x 20 m. Zgodnie z opisem na planie miasta z tego samego roku, dwór ten jest wymieniony jako murowany budynek z trzema pokojami dla dworu, jadalnią i kaplicą na pierwszym piętrze. Na parterze znajdował się pokój biurowy, pokój gubernatora, mieszkanie pisarza zbożowego, dwie kuchnie i dwa magazyny. W pobliżu północno-wschodniego skrzydła zbudowano mały staw i ogród. Dziś zwiedzający mogą podziwiać ruiny murów obwodowych z łukami okiennymi.