Cet édifice marque l'extrémité sud du vaste ensemble de bâtiments dont l'évêque dispose jusqu'à la Révolution pour l'administration de son diocèse. C'est alors la "Tour du chapitre", c'est-à-dire la prison. Au premier niveau, les murs en pierre mesurent plus d'un mètre d'épaisseur. La partie supérieure est modifiée au XVIIIe siècle. Saisi puis revendu durant la Révolution, il abrite la loge maçonnique Thémis depuis 1802.