L'abbaye bénédictine de Saint-Winoc, fondée en 1022, occupe tout le sommet du Groenberg, point culminant de la ville (22 m). Bien que détruite à la Révolution française, ses deux tours sont, encore aujourd'hui, un élément important du paysage berguois (La tour pointue : 1815 et la tour carrée : XIIe siècle).
Le terrain de l'abbaye, après avoir servi de champs de mars à partir de la Révolution, est depuis le début du XXe siècle le jardin public de la ville.