Die Burg erlangte zur Zeit Kaiser Rudolfs II. ihren größten Ruhm. Diesem gefiel Brandýs so gut, dass er es zu seinem Hauptwohnsitz außerhalb Prags machte und renommierte Persönlichkeiten aus dem Bereich der Künste und Wissenschaften hierher einlud. Seine Einladung wurde zum Beispiel vom berühmten Astronomen Tycho Brahe angenommen. Verschiedene architektonische Stile haben das Erscheinungsbild des Gebäudes geprägt, von der Gotik über die Renaissance bis zum Barock. Auch der namhafte Barockarchitekt Franz Maximilian Kaňka zeigte hier sein

außergewöhnliches Talent. Weitere Umbauten, diesmal im Geiste der romantischen Neugotik, forderten die Habsburger. Der letzte habsburgische Besitzer des Sitzes war Kaiser Karl I. von Österreich, der seine frisch Angetraute Zita von Bourbon-Parma hierher einlud. Das Paar erinnerte sich an die Tage auf der hiesigen Herrschaft als die glücklichsten in ihrem gemeinsamen Leben.