Původní gotický hrad ze 14. století se v  roce 1547 stal majetkem české královské komory a loveckým sídlem císaře Ferdinanda I. zámek měl v oblibě i císař Rudolf II. a jeho zařizování věnoval velkou pozornost, bylo to jeho hlavní mimopražské sídlo. Často zámek navštěvoval, miloval zámeckou zahradu, pořádal tady hony a lovecké hostiny a hostil tu slavné osobnosti své doby, mimo jiné i hvězdáře Tychona Brahe.

V průběhu čtyř staletí v Brandýse na zámku  pobývali všichni panovníci Habsburské dynastie, lovit sem jezdil císař Karel VI. s celým dvorem, i Marie Terezie a Ferdinand V. Císaře Františka I. tu v době napoleonských válek navštívil ruský car Alexandr I. a pruský král Fridrich Vilém III. k jednáním před bitvou u Lipska.

V roce 1918 po vzniku samostatné Československé republiky byl zámek jako majetek Habsburků vyvlastněn státem. Od roku 1995 je ve správě města Brandýs nad Labem-Stará Boleslav, které má v kompetenci jeho provoz a rekonstrukce. 

V současné době zámek neslouží jen k prohlídkám, ale pořádají se tu i různé kulturní a historické akce.