Ještě předtím, než byl na místě dnešního zámku postaven zmíněný gotický hrad, jenž byl zbudován nejpozději na počátku 14. století., stával zde předrománský opevněný kostelík založený svatým Vojtěchem. O královském původu hradu svědčí skutečnost, že ho v roce 1325 král Jan Lucemburský vyměnil za hrad v Náchodě.
Postupnými úpravami se ze strohého objektu stal zdobnější zámek. Největší stavební změny byly provedeny po požáru, který hrad poničil v roce 1549. Po této tragické události byl celý areál přestavěn v renesančním stylu. Jako předloha posloužily budovy italských kastelů, proto byly do nároží zakomponovány charakteristické okrouhlé věže. Současný vzhled je ale dílem až pozdější rekonstrukce, tentokrát ve slohu barokním. Tato obnova probíhala pod vedením pražského architekta Josefa Jägera.
Po určitou dobu byl majitelem sídla také císař Ferdinand I. Habsburský, jenž sem rád zavítal za radovánkami v podobě honů v okolních lesích. V roce 1935 pronajal tehdejší majitel František Josef z Lichtenštejna své sídlo lesnické fakultě Československého vysokého učení technického a od té doby je památka majetkem univerzity.
Zajímavost
Z původního gotického hradu se do současnosti dochovalo sklepení pod severozápadním křídlem, portál v jedné z budov předzámčí a zdivo barbakánu – fortifikačního prvku, jenž ve středověku sloužil k lepší obraně brány a jehož výskyt je v rámci Čech ojedinělý. Další raritou je krytá chodba spojující zámek s kaplí sv. Vojtěcha.
