Hoch über der Cité und der Kathedrale liegt die Hermitage ganz in der Nähe des historischen Zentrums von Lausanne und bietet zugleich einen prächtigen Ausblick auf die Alpen und den Genfersee.
Der weitläufige Park, dessen Gestaltung und Auswahl der Baumarten auf die Gründung des Hauses zurückgeht, folgt harmonisch der Topografie des Geländes. Seine geschwungene Form, die Wege und Pfade, der Baumkranz um den Garten und die Haine mit Bänken sind typisch für die Englischen Gärten, die zu Beginn des 19. Jahrhunderts sehr beliebt waren. Eine römische Säule und eine Grotte (inzwischen geschlossen) bilden einen malerischen Schmuck und laden zum Flanieren ein.
Der Rasen vor dem Museum ist mit Blumenbeeten geschmückt, die zu jeder Jahreszeit von den Gärtner:innen der Stadt Lausanne neu bepflanzt werden. Einige Meter weiter unten trägt eine Wildblumenwiese zur Poesie des Orts bei.
Tulpenbaum, Weihrauchzeder, Atlaszeder, österreichische Schwarzkiefer, Buche, amerikanischer Schwarznussbaum, Weide … die hundertjährigen Bäume des Parks der Hermitage sind majestätisch. Die grosse Wiese oberhalb des Obstgartens wird nur zweimal im Jahr gemäht, um die Artenvielfalt zu fördern. So herrscht hier eine ländliche Atmosphäre, die an die landwirtschaftliche Nutzung des Geländes der Hermitage bis ins 19. Jahrhundert erinnert.
