Après la destruction du village gallo-romain d'Halciacum, les habitants s'installent plus près de la Selle, sur un promontoire où ils édifient une motte et une tour afin de se défendre. Le seigneur Guillaume de Haussi y retient prisonnier le châtelain de Cambrai en 1060. La forteresse aujourd'hui disparue a été au cours des siècles plusieurs fois détruite, reconstruite et agrandie.