La commune d'Esnes se situait jusqu'en 1678 sur le tracé de la frontière entre la France et l'Empire Germanique, ce qui explique la présence d'un tel château fort. De la forteresse médiévale, il reste une tour crénelée, la base de trois tours et une partie du chemin de ronde. De la demeure seigneuriale des comtes de Beaufremetz, du XVIIème siècle, il subsiste des dépendances et surtout le logement principal, avec sa façade de briques et de pierres ornée de blasons. Le château est occupé par les Autrichiens en 1793 puis il est transformé en exploitation agricole au XIXème siècle. Il est classé Monument Historique en 1971. A voir à proximité : la grange dîmière (XVIIe siècle); le quartiche (abritant des sépultures de l'époque mérovingienne); ou encore l'église Saint-Pierre du XVIe siècle. Au XIIIe siècle, le château, dessiné en quadrilatère, était bordé au sud par les cours de l'Esnelle et protégé à l'Ouest par un marais. La route de Cambrai à Guise le traversait et un péage y était perçu avant le pont sur l'Esnelle pour subvenir à l'entretien des routes et ponts, ainsi qu'à la sécurité de la région. Il reste de cette époque la base de la grosse tour, avec des hautes archères pour le tir des arbalètes, ainsi que des trous de boulins (trous où étaient fixés des madriers supportant un plancher en pente pour monter les matériaux de construction). La tour fut surélevée au XVe siècle. Une tour semblable, qui existait au coin opposé, a disparu. Le porche est encadré de deux tours demi-cylindriques. Leur base date du XIVe et début XVe. Leurs murs ont deux mètres d'épaisseur pour résister à l'artillerie, apparue en Flandre vers 1330. Elles furent surélevées au XVIIe siècle. Le pont-levis date du XIVe siècle. Il était à bascule, ses deux montants s'encastrant dans les grandes rainures pour fermer le château. Le porche fut décoré et surmonté d'un fronton au XVIIe siècle. Sous le porche, la porte basse murée servait aux gardes. A gauche, on voit encore la trace du verrou du pont-levis, ainsi que le trou où on le fixait. Le château fut habité dès le Xe siècle par Alard d'Esnes, l'un des 12 pairs du Cambraisis (fief tenu par un évêque, et relevant de l'Empire Germanique). Plus tard, Eustache d'Esnes et ses fils partirent pour la 1ère Croisade. Plus tard encore Arnould d'Esnes octroya les premières "coutumes" , en 1193; puis Jean en 1304. Sur le porche, à l'intérieur de la cours se trouve un cadran solaire. Dans la tour Saussaye à droite : la voûte y est ornée d'une fleur de lys, gravée lors d'une incursion des troupes françaises (sous Louis XI, Henri II ou au XVIIe siècle) A gauche, dans la tour Baudrain, construite par celui qui se battit à Azincourt en 1415 : elle est intéressante par ses graffiti, ses ouvertures pour canons et son cachot profond de 7 mètres (avec sa niche pour l'eau et le pain, et sa petite ouverture pour la lumière). Dans la grosse tour , au pied de l'escalier, il y a au dessus un orifice appel" "l'assomoir", qui pouvait à l'occasion servir de monte-charge. L'escalier est contenu dans une tourelle accolée à la grosse tour, et qui fut jadis surélevée pouR porter deux cadrans, l'un vers le village, l'autre vers la cours. La grosse tour proprement dite, contient deux salles superposées, voûtées de pierre pour supporter le poids des couloeuvrines (2 à 3 mètres de long; 6 coup à l'heure, boulets d'1.5 à 4kgs) Elle a connu deux sièges : en 1478, le château fut pris par l'Empereur Maximilien d'Autriche; et en 1554, il fut pris par le Roi de France Henri II, la garnison s'étant échappée par un souterrain. La voûte de la salle du haut porte un saumon sculpté, blason du prince de Salm, qui s'occupa d'Esnes avec des troupes espagnoles au XVIIe siècle, pendant la Guerre de 30 ans. A la sortie de la grosse tour : au fonds de la cours, se dresse une tour étroite dont la base, datant du XIIe siècle est percée d'archères "en étrier". L'intérieur est orné de graffiti faits par ses gardiens ; on y voit une crucifixion, une tête couverte d'un haume, un chevalier avec sa dame,... Elle contient un cachot souterrain. A sa gauche , des pierres en saillie sont les restes d'un chemin de ronde. Le château fut cédé en 1603, par un descendant de Jeanne d'Esnes, à Jean de Beauffremez. Après la prise de Cambrai par Louis XIV (1676), Adrien fils de Jean, puis Jean-Baptiste, son petit-fils, aménagèrent l'habitation principale. Quatre arcades, encore visibles de l'intérieur, en en furent le point de départ. on y encastra des fenêtres (ce qui explique leur position basse, et les triangles sculptés qui les séparaient); on prolongea dans le même style, et on bâtit dessus un étage, ainsi qu'au fond de la cours, les communs, garnis d'oeils-de-boeuf et de pointes de diamants. Adrien Beauffremez eut aussi une fille : Jeanne qui épousa le Marquis d'Assignies, arrière-petit-fils de Marguerite d'Esnes. Les d'Estutt d'Assay, leurs descendants, issus donc à la fois des Esnes et des Beauffremez, n'habitèrent pas la demeure, qui devint depuis le siècle dernier un château-ferme.