Située dans le Parc Naturel Régional de l'Avesnois, la petite ville de Bavay est réputée pour ses vestiges romains. La visite du site archéologique de l'antique Bagacum permet de découvrir les ruines d'un forum, d'une basilique civile et d'un cryptoportique. À côté, le musée départemental d'Archéologie abrite des objets issus des fouilles menées sur le site tels que bronzes, poteries, vaisselle...