Она дала себя знать еще накануне штурма и особенно после взятия Задара: нашлись сеньоры, рыцари и церковнослужители, притом в немалом числе, не пожелавшие участвовать в войне против христианского города. Эти люди, якобы более всего, по мысли Виллардуэна, жаждали, чтобы войско вообще распалось (§ 81—84). Вначале они будто бы — так рисует ситуацию хронист — сорвали уже подготовленную мирную капитуляцию Задара и тем самым вынудили «пилигримов» к насильственному овладению городом (§ 84), а затем, ссылаясь на запрещение «апостолика» нападать на христианские земли, принялись чинить препятствия подписанию договора с послами германского короля Филиппа и царевича Алексея о походе к Константинополю (§ 95). «Отступники» настаивали на походе в Сирию! Договор все же был заключен, хотя со стороны крестоносцев его подписали всего лишь 12 сеньоров («а больше не могли найти» — § 99).
Тем не менее с каждым днем численность войска сокращалась из-за дезертирства этих малодушных — и из «меньшого люда», и из среды знати (§ 101—102). Перед тем как флот двинулся на Корфу, войско оставили граф Симон де Монфор и ряд других сеньоров, уведя с собой многих «пилигримов» (§ 109), чем нанесли крестоносцам «очень большой урон» (§ 110).
Партия «отступников», стремившаяся, по Виллардуэну, к тому, чтобы войско рассеялось, продолжала свои злокозненные действия и на Корфу: она намеревалась отколоть от войска часть людей и увезти их на кораблях в итальянские гавани (чтобы оттуда плыть в Сирию) (§ 113). «И книга свидетельствует, что более половины войска было в согласии с ними» (§ 114). На этот раз предводители все же сумели уладить разногласия, и в конце мая 1203 г. флот взял курс на Константинополь. Однако тут крестоносцев подстерегали новые неожиданности и случайности.
«Пилигримы» отправились к византийской столице, по изображению Жоффруа де Виллардуэна, с самыми благими намерениями: «восстановить справедливость» и после этого, пополнив запасы продовольствия и опираясь на финансовую поддержку восстановленных в правах императоров, совершить то, к чему были устремлены первоначальные помыслы участников крестового похода, — идти дальше, на Восток. Но все получилось по-иному: восстановленные на константинопольском престоле государи не выполнили своих денежных обязательств, как было уговорено, хотя Исаак II, заняв престол, подтвердил эти финансовые обязательства, зафиксированные и в договоре с крестоносцами, подписанном его сыном царевичем Алексеем (§ 188—189). С этой «несправедливостью» тоже нельзя было мириться и пришлось, предварительно бросив по-рыцарски вызов Алексею IV (§ 213—215), брать Константинополь силой.
Такой поворот оказался тем более неизбежным, что в самом Константинополе, пока «пилигримы» ввязались в войну с Алексеем IV, произошла смена правительства. С нею окончательно и напрочь ликвидировались какие бы то ни было перспективы урегулирования конфликта с Византией. Некогда «облагодетельствованный» крестоносцами Алексей IV был смещен и убит Алексеем V Дукой (Морчуфлем).
В глазах «ревнителей справедливости» поступок Алексея V был тягчайшим преступлением. И тогда крестоносные сеньоры порешили, что «тот, кто совершил такое убийство не имеет права держать землю» (§ 224). Церковнослужители, находившиеся с войском «пилигримов», со своей стороны благословили войну против христианского Константинополя, расценив ее как «правую и справедливую» (§ 225). В конце концов византийская столица подверглась осаде и 12 апреля 1204 г. была взята приступом (§ 242—250), что повлекло за собой завоевание и ряда других областей Византии.
Между тем численность войска сильно поубавилась из-за предшествующих «отпадений». К тому же среди завоевателей отсутствовало единение: то и дело сеньоры вступали в распри друг с другом из-за обладания захваченными землями. Все это сделало положение «пилигримов» крайне неустойчивым перед лицом появившихся у них наряду с греками новых противников — болгар, влахов, куманов, которые подчас действовали как прямые союзники византийцев. Вдобавок сами «пилигримы» допустили тактические промахи. В их рядах нередко появлялось малодушие, были случаи нарушения вассальных обязанностей. Император Бодуэн Фландрский и маркиз Бонифаций Монферратский затеяли открытый конфликт из-за Салоник. Вследствие оплошности своевольного Луи Блуаского и других командиров рыцарское войско потерпело поражение от болгар близ Адрианополя (14 апреля 1205 г.). Ситуацию с трудом удалось в дальнейшем поправить лишь в незначительной степени, да и то ценой огромных усилий и серьезных потерь.