V obci původně tvrz založená po r. 1614 Adamem Vchynským ze Vchynic. Zda zanikla úplně nebo zda je později založený zámek přestavěná tvrz, není známo. Zámek zde patrně založil baron Emanuel Hildprant z Ottenhausenu; písemně poprvé zmiňován v r. 1741 v souvislosti se sňatkem Karla Josefa Hildpranta s Marií Kfelířovou. Po r. 1754, kdy Karel Josef koupil Slabce, Zhoř i se zámkem opuštěná. Zámek zde ve své původní podobě stál ještě okolo r. 1800, z té doby zachována rytina. Šlo o mohutnou věžovitou stavbu (z ní dodnes dochovány pouze části zdiva a fragmenty architektonické výzdoby) obklopenou parkem, na jeho konci několik přízemních hospodářských stavení. Nejprve zde bydleli panští úředníci, v r. 1876 zámek částečně ubourán a přestavěn na cukrovar, později přeměněn na vinopalnu (lihovar) a nakonec na špýchar. Při přestavbě dvora zanikl objekt v areálu hospodářských budov. - Dnes zcela zchátralá stavba se zdevastovaným interiérem.
