Bis Mitte des 19. Jahrhunderts hieß die Insel schlicht Wörth. König Maximilian II. erwarb sie 1850 und ließ von Architekt Eduard Riedel eine Villa im pompejanisch-bayerischen Stil errichten, das „Casino“ (fertiggestellt 1853). Landschaftsarchitekt Peter Joseph Lenné gestaltete die Anlage, im Zentrum ein ovaler Rosengarten — daher der heutige Name.

Maximilians Sohn Ludwig II. empfing hier hochrangige Gäste, darunter die russische Zarin Maria Alexandrowna und den preußischen Kronprinzen Friedrich III. Privat traf er sich auf der Insel wiederholt mit seiner Cousine, der österreichischen Kaiserin Elisabeth (Sisi), die ihre Jugend im nahen Possenhofen verbracht hatte — Luchino Visconti verfilmte diese Begegnungen 1972.