Les Torroella, la famille qui vivait dans cette première maison fortifiée, faisait partie du comté d’Empúries et accorde de généreux privilèges pour attirer de nouveaux habitants.

Au XIIIe siècle, le Palau devient la résidence des comtes de Barcelone lorsque Torroella de Montgrí est proclamée ville royale à partir de 1273. Le Palau lo Mirador connaît alors l’une de ses époques de splendeur.

Ainsi, le roi Jacques Ier le Conquérant y fait une halte sur le chemin du concile de Lyon. Jean Ier, fils de Pierre dit le Cérémonieux et frère de Martin dit l’Humain, passe la dernière nuit de sa vie au Palau lo Mirador, en compagnie de ses conseillers, avant de mourir dans d’étranges circonstances, pendant une partie de chasse dans les forêts de Foixà, en 1396.

La deuxième grande époque de splendeur commence avec le marquis de Robert, qui au début du XXe siècle décide de convertir le bâtiment en résidence d’été aux allures de palais gothique. L’architecte du noucentisme Rafael Masó est chargé du projet de rénovation et de la transformation de cette maison de maître en hôtel particulier. Il utilise des éléments architecturaux de différentes maisons de Torroella qui appartiennent à la famille de Robert, tels que pierres, voûtes, chapiteaux... afin de maintenir l’esprit médiéval de l’ensemble.