La citadelle est bâtie en 1543 sur ordre de Charles Quint sur le point culminant de la cité, le Mont-des-Boeufs. L'abbaye Saint-Géry, haut lieu de pèlerinage, fondée au VIe siècle, et le quartier attenant, seront alors entièrement détruits pour laisser place à l'édifice militaire. La citadelle se présente sous la forme d'un vaste quadrilatère défendu à chaque angle par un bastion. Elle concentre tous les aménagements nécessaires à la vie de la garnison et constitue le dernier foyer de résistance lors de la prise de la ville par Louis XIV en 1677. Démantelée à la fin du XIXe siècle, elle conserve la galerie de contre-mine, la porte royale et un arsenal du XVIe siècle, des logements du XVIIIe siècle et une caserne du XIXe siècle.