Localizado no Parque Natural Regional de Avesnois, a pequena cidade de Bavay é famosa por suas ruínas romanas. A visita do sítio arqueológico do antigo Bagacum permite-lhe descobrir as ruínas de um fórum, uma basílica civil e um criptopenia. Próximo a ele, o museu departamental de arqueologia abriga objetos resultantes das escavações realizadas no local, como bronzes, olarias, louças...