Maison forte située entre Brioude et Le Puy-en-Velay, le château de Chavaniac-Lafayette, bâti au XIVe siècle puis reconstruit au début du XVIIIe, est le lieu de naissance du célèbre général marquis de La Fayette, qui allait s'illustrer lors de la Guerre d'Indépendance des États-Unis et de la Révolution française. Également surnommé le manoir des deux mondes, l'édifice a appartenu au XXe siècle à un organisme philanthropique américain, le Mémorial Lafayette, avant d'être repris en 2009 par le Département de la Haute-Loire.
Au cours de la visite historique, fortement imprégnée de la trace des philosophes du Siècle des Lumières et de leur positionnement contre l'esclavage et en faveur des Droits de l'Homme, on découvre la vie de ce héros des deux mondes, de sa naissance jusqu'à son mariage avec Adrienne de Noailles, ainsi que son épopée américaine sous forme de film proposé dans un petit théâtre reconstitué.
L'agréable parc, classé Jardin Remarquable, possède un arboretum riche en espèces venues du monde entier, une roseraie en contrebas de la cour d'honneur avec une vue remarquable sur le château, et le Chêne de Lafayette, planté voici trois siècles par le grand-père du marquis.
Insolite : l'Arbre de la Lune, entre la roseraie et l'arboretum, est un érable provenant d'une graine qui a voyagé à bord de l'Apollo 14 en 1971.