En 1223 la ville haute fut entourée d'une enceinte (dépourvue de fossés) reliée aux extrémités nord et sud au château ; à chaque bout de la rue du château se situait une porte ; celle du nord, ou porte basse, était surmontée d'un logement de gardien, elle fut détruite le 7 août 1826 ; de la porte sud, ou porte haute, subsistent 2 piliers en grès avec les armes des comtes de Ferrette ; l'alignement du mur sud, auquel s'adossent une partie des édifices rue du château, est partiellement conservé ; le faubourg, ou ville basse, cité en 1233 s'étendait au sud-ouest mais n'était pas fortifié
