L’enceinte du XIVe siècle, poursuivie au XVe, avait quatre kilomètres de circonférence. Elle était jalonnée d’une cinquantaine de tours de flanquement, dont seules subsistent la tour des Sottes et la tour du Caudron. La tour des Sottes a préservé son appareil de belle pierre du Cambrésis jusqu’à la base de l’ancienne terrasse. Son soubassement de grès est aujourd'hui enterré. A son sommet, un dispositif en encorbellement rappelle la présence de latrines dans cette tour.L'accroche de la courtine est toujours perceptible sur le côté de la tour. L'accès au niveau défensif se faisait par le chemin de ronde, par une porte aujourd'hui murée. A sa base, le fossé, profond de trois mètres, s’étendait jusqu’à l’autre côté du boulevard. Ils étaient un élément supplémentaire de défense pour lutter contre l’ennemi selon un principe existant depuis l’Antiquité.