Im Jahr 1841 erwerben der Lausanner Bankier Charles-Juste Bugnion und seine Frau Jeanne Marie Chatelanat das Grundstück der Hermitage, das auf einer Anhöhe über der Stadt liegt. Dort lassen sie zwischen 1851 und 1853 ein Herrenhaus errichten, das sich durch seine Öffnung nach aussen auszeichnet – ein Novum in der damaligen Zeit. Die Befensterung ist grosszügig und lässt viel Licht ins Innere dringen. So können die Besucher:innen ständig mit der umgebenden Natur kommunizieren. Die eleganten Balkone der Südfassade und die breiten seitlichen Loggien mit ihrer harmonischen Mischung von Steinquadern und Gusseisen unterstreichen die Bedeutung des Blickpunkts bei der Errichtung des Hauses, das als echtes Belvedere konzipiert wurde.

Im Jahr 1976 vermacht die Familie Bugnion das Haus und einen Teil des Parks der Stadt Lausanne. Gleichzeitig wird eine private Stiftung gegründet, um dieses schöne Herrenhaus aus dem 19. Jahrhundert bekannt zu machen und die Entwicklung eines Museums von hohem Niveau im Bereich der bildenden Kunst zu gewährleisten.

Seit 1984 präsentiert die Fondation de l’Hermitage Wechselausstellungen und zeigt gelegentlich eine Auswahl aus ihren eigenen Sammlungen.

Das Museum ist Mitglied der Association des musées de Lausanne et Pully (AMLP), der Verband der Museen der Schweiz (VMS) und des International Council of Museums (ICOM).