La família que hi vivia en aquesta primera casa fortificada es deien els Torroella, que formaven part del comtat d’Empúries i els quals van concedir generosos privilegis per atraure nova població.

Al segle XIII el palau es transforma en residència dels comptes de Barcelona pel fet que Torroella de Montgrí passà a ser vila reial a partir del 1273. Aquesta es va convertir en una de les èpoques d’esplendor del Palau lo Mirador.

Així, el rei Jaume i el Conqueridor hi feu estada quan anava de camí cap al Consell de Lió. També Joan I, fill de Pere el Cerimoniós i germà de Martí l’Humà, passà al Palau lo Mirador la darrera nit de la seva vida, juntament amb els seus consellers, abans de morir de manera mai prou aclarida mentre caçava als boscos de Foixà el 1396.

La segona gran època d’esplendor la inicià el marques de Robert, qui a l’inici del s.XX va voler projectar d’edifici com a residència estival amb aires de palau gòtic. L’arquitecte noucentista Rafael Masó va ser l’encarregat del projecte de reforma de la casa pairal per convertir-la en una casa de nobles. Va utilitzar elements arquitectònics de diferents cases de Torroella propietat de la família de Robert com pedres, voltes, capillets… amb la voluntat de mantenir l’esperit medieval del conjunt.