Следующим в списке Виллардуэна числится графство Сен-Поль. Существует любопытная легенда о происхождении названия этого графства. В IX веке вторгшиеся в эти места норманны предали окрестности огню и мечу, не пощадив ни одного селения. Но когда норманны ушли, и на опустошённую территорию вступили отряды графов Булони и Фландрии, они с изумлением увидели, что в одном месте на берегу реки Тернуазы как ни в чем ни бывало стоит совершенно не пострадавший деревянный замок и посёлок, носивший тогда как и река название Тервана. Согласно легенде некое чудесное облако скрыло замок от глаз норманнов, и те прошли мимо. Жители Терваны приписали своё спасение святому Полю (Павлу), которому поклонялись как покровителю, и переименовали городок в его честь. Правда, в начале XII века, когда тогдашний граф Сен-Поля Гюг II де Кампдавен повздорил со своим могущественным соседом графом Фландрии Шарлем Добрым, святой Поль уже не смог спасти город, и оказавшийся в данном случае совсем не добрым Шарль сжёг деревянный замок дотла. К началу описываемых событий замок уже был отстроен заново из каменных блоков, а холм, на котором он возвышался, был окружён каменной стеной с несколькими башнями.
     Графство Сен-Поль находилось в центре более обширного владения – графства Артуа, в свою очередь входившего в состав Нормандии. Графы Артуа вели борьбу с Фландрией, и пограничные владения постоянно переходили из рук в руки. Виллардуэн приводит в своём списке имя знаменитого рыцаря и трубадура Конона Бетюнского рядом с именами ряда вельмож Фландрии, хотя в тот момент фьеф этого феодала был подчинён графу Артуа. В столь же неопределённой ситуации находилось и графство Сен-Поль, хотя оно было более удалено от границ Фландрии. Но всё это не помешало и Гюгу де Сен-Поль, и его племяннику Пьеру Амьенскому (в состав отряда которого входил будущий автор другой хроники о завоевании Константинополя – Робер Клари) стать одними из главных действующих лиц четвёртого крестового похода.
     Когда в 1202 году граф Гюг IV Компдавенский отправлялся в путь, он даровал городу Сен-Полю муниципальную грамоту следующего содержания:

     "Moi, Hugo, Comte de Saint-Pol et Yole, Comtesse mon épouse, à tous les fidèles à jamais, salut. Vous saurez que nous avons donné et concédé aux bourgeois de Saint-Pol et à leurs héritiers, pour qu'ils la possèdent à jamais, une commune."
     "Я, Гюго, граф де Сен-Поль и Йела, моя супруга, приветствуем навеки преданный нам народ. Да будет вам известно, что мы дали и даровали жителям Сен-Поля и их наследникам коммуну, которой они могут владеть во веки вечные."

     Граф Гюг де Сен-Поль умер в Димотике (Латинская империя), но его наследник граф Гюг Шатильонский подтвердил коммунальную грамоту в 1227 году. Только вот новый замок он счел слишком большим и неудобным для обороны. Он велел выкопать поперек крепости глубокий ров и таким образом отделил её восточную часть, отныне именовавшуюся как старый замок (Château Vieux). Юго-западная же часть крепости, возвышавшаяся над городом, была перестроена и названа Новым замком (Château Neuf).