La familia que vivía en esta primera casa fortificada se llamaban los Torroella, que formaban parte del condado de Empúries y quienes concedieron generosos privilegios para atraer a nueva población.

En el siglo XIII, el palacio se transforma en residencia de los condes de Barcelona debido a que Torroella de Montgrí pasó a ser villa real a partir de 1273. Esta se convirtió en una de las épocas de esplendor del Palau Lo Mirador.

Así, el rey Jaime I el Conquistador permaneció allí cuando iba de camino hacia el Concilio de Lyon. También Juan I, hijo de Pedro el Ceremonioso y hermano de Martín el Humano, pasó en el Palau Lo Mirador la última noche de su vida, junto con sus consejeros, antes de morir de una manera aún poco clara mientras cazaba en los bosques de Foixà en 1396.

La segunda gran época de esplendor la inició el marqués de Robert, que al inicio del siglo XX quiso proyectar el edificio como residencia estival con aires de palacio gótico. El arquitecto novecentista Rafael Masó fue el encargado del proyecto de reforma de la casa solariega para convertirla en una casa de nobles. Utilizó elementos arquitectónicos de diferentes casas de Torroella que pertenecían a la familia de Robert, como piedras, bóvedas, capillas..., con la voluntad de mantener el espíritu medieval del conjunto.