Ancien ermitage fondé dans la seconde moitié du XIe siècle, l'abbaye Saint-Rigaud a été érigée en abbaye bénédictine quelques années plus tard. Celle qui connaît un âge d'or entre la fin du XIe et le début du XIIe siècle était accompagnée d'une très belle église romane brionnaise.
A l'origine, l'abbaye Saint-Rigaud se composait de plusieurs bâtiments, dont une infirmerie, un logis et des bâtiments agricoles. Il ne subsiste plus aujourd'hui que le logis du prieur du XVe siècle et la porte de l'abbaye. En cours de restauration par son propriétaire, le site n'est pas accessible à la visite.
