Tvrz stála ve Lhoticích již roku 1363 a od roku 1542 jí drželi vladykové a svobodníci Růžkové, podle nichž se ves jmenuje dodnes. Současný zámek budoval po roce 1787 František Dorn v duchu pozdního baroka a klasicismu. Jako svobodnický zámek vynikl v rámci českých zemí svým rozsahem i strukturou. Dvoukřídlá budova byla zapojena do areálu dvora, okna dodnes lemují šambrány s uchy a schodiště zdobí motivy střapců. V roce 1835 se do Lhotic stěhuje mladý Bedřich Smetana, který tu prožívá nejšťastnější léta. Jeho otec František vlastní Lhotice až do roku 1844 a Bedřich tu prvně poznává pravý venkov. Majitelé se později střídali a po roce 1948 byl areál chátrajícího zámku součástí socialistického zemědělského družstva. Až v roce 1972 získalo zámek okresní muzeum a začalo s jeho rekonstrukcí. Lhotice se otevřely roku 1984 s expozicí zaměřenou na pobyt Bedřicha Smetany a na téma navázala i nová expozice Kraj tónů z roku 2014. Ta ukazuje Podblanicko jako hudební fenomén, jako kraj spojený v průběhu 16. – 20. století s mimořádným počtem osobností české a evropské hudby. Na nádvoří se pořádají hudební představení a v zámecké zahradě vznikla i neolitická pec pro archeologické edukační programy.