Oorspronkelijk stond op de plaats van de burcht een vesting, waar in de 1ste helft van de 14de eeuw Heřman Chvalovský van Ledec heer en meester was en sindsdien zich van Zruč noemde. Het is niet bekend of het hijzelf was die op de plaats van de vesting een burcht aanlegde. Het is ook mogelijk dat de burcht in de loop van de eeuwen door uitbreiding van het bestaande gebouw ontstond. In 1355 werd een stenen burcht in Zruč vermeld, onder de heren van Kolovraty, toen een tak van deze familie zich "van Zruč" ging schrijven en later "Zručští van Chřenovice" naar een burcht in de buurt. In 1547 werd de gotische burcht tot een gotisch kasteel verbouwd. In 1553 werd Zruč door Jiří Kalenice z Kalenic gekocht. Deze relatief rustige periode van de 2de helft van de 16de eeuw was voor het landgoed van Zruč een periode van een buitengewone opbloei. Familie Kalenice verbouwde de plaatselijke burcht tot een renaissancistisch kasteel. Bij het kastel bloeide de handel en ambachten op en naar verluidt was in 1561 Zruč door de koning Ferdinand I tot een stadje genoemd. Deze informatie is echter niet onderbouwd. In 1891 - 1892 was het kasteel door J. Vejrych in pseudo-gotische stijl verbouwd. In deze vorm is het kasteel tot op heden gebleven, met drie vleugels en twee verdiepingen en op de zuidoostelijke hoek een vierkante toren. Het kasteel is door een watergracht omgeven. Achter het kasteel kan men restanten van een bastion vinden en in het noordwestelijke gedeelte van het park de resten van een prismatische toren van de voormalige burcht.
In de kasteeltuin groeien enkele zeldzame soorten bomen en struiken, al behoorlijk oud. In het park vindt men ook enkele beelden – de Wijnbouwer, een Leeuw die een lam verslindt, Jan Schebeck en de beeldengroep Hondenbegraafplaats. Ook twee meertjes dragen aan de ontspannende sfeer bij. Op het terras onder het kasteel is een kunstmatige ruïne, de zgn. Uitkijkplaats van de barones.
Het kasteel is in het zomerseizoen toegankelijk voor publiek. Een rondleiding door het kasteel duurt ongeveer 40 min en loopt door 11 vertrekken. Ook het park met beelden is de moeite waard. Een wandeling van ca. 15 minuten is aan te bevelen. In de kasteeltoren zijn precies 100 treden naar boven. Eenmaal aan de top ziet men een mooi panorama van de oude stad en het kasteelpark. Openingstijden van het kasteel zijn van 15 juni tot 30 augustus van 9 tot 16 uur. Toegangskaartjes voor volwassenen kosten 20 Kč, voor kinderen, studenten en gepensioneerden 10 Kč, naar de kasteeltoren 5 Kč. Uitleg door de gids is in het Tsjechisch, maar voor buitenlandse bezoekers liggen er schriftelijke vertalingen in het Engels, Frans en Duits. Rondleidingen door het kasteel laten ook interessante exposities zien.