Původně gotický hrad byl poprvé zmíněn roku 1289 a založili ho nejspíše páni z Lichtenburka. Roku 1356 ho koupil císař Svaté říše římské a český král Karel IV. Hrad zastavoval různým nájemcům panského i rytířského původu a vystřídalo se jich zde opravdu hodně. V době husitských válek se hradu nevyhnulo obléhání, kterému podlehl. Po odplatě dychtící vojáci pak stavbu z části pobořili a vypálili. Rozsah dnešního zámeckého komplexu je tedy dílem následné pozdně gotické obnovy z poloviny 15. století. Další přestavba – tentokrát na ještě pohodlnější a honosnější zámek s arkádovým nádvořím – probíhala ve století šestnáctém. Význam Žleb výrazně pozvedl král Jiří z Poděbrad, za jehož panování se staly jednou z opor panovníkovy moci.

 

Z mnoha majitelů sídla je třeba zmínit starý tyrolský rod Auerspergů. Do jejich vlastnictví zámek přešel v roce 1754 a patřil jim až do 20. století. Nejznámějším z rodu byl kníže Vincenc Karel Auersperg, za jehož správy byly provedeny romantické úpravy zámku a interiéry byly vybaveny bohatými sbírkami zdobného nábytku, vzácných obrazů, luxusního nádobí a zbraní. V rámci zmíněné renovace byl vytvořen anglický krajinářský park. Kníže si přál, aby byly zámecké zahrady plné historizujících staveb připomínajících středověkou hradní architekturu, a tak se park stal místem, které jako by vystoupilo ze snů romantických básníků a malířů.

Východní křídlo zámku sloužilo již od konce 19. století jako prohlídková trasa pro veřejnost a svoji noblesní atmosféru si interiéry zámku v nezměněné podobě uchovaly dodnes.