Die Enkel des Bauherrn verkauften das Palais 1791 an Leopold II. Unter Franz II. wurde der Garten mit Obstb�umen bepflanzt, weshalb dieser als Kaisergarten bezeichnet wurde (Kaisergartengasse). Unter Ferdiand I. und Franz Joseph I. lie� man den Garten splitten; auf einem Teil desselben wurden 1860 bis 1865 die Krankenanstalt Rudolfstiftung und 1895 bis 1898 die Landwehr-Kadettenschule errichtet.
Das Palais wurde nun als Kaserne genutzt: Von 1839 bis 1849 war hier die Lombardo-venezianische Garde untergebracht, und von 1850 bis 1918 beheimatete es das K. k. Milit�r-Reitlehrer-Institut .
W�hrend der Ersten Republik beherbergte das inzwichen nicht mehr gut im Schuss befindliche Geb�ude eine Zeitlang ein M�dchenheim. Zu Ende des Zweiten Weltkrieges fiel es einem Bombenangriff zum Opfer, wobei abhttps://Januariuskapelle zum Teil erhalten blieb.
1985 bis 1987 wurden das Schulzentrum errichtet und die Januariuskapelle renoviert.