Между августом 1203 г. и мартом 1204 г. отношения между крестоносцами и возвращёнными с их помощью к власти императорами всё больше и больше ухудшались. Алексий IV стал постепенно выплачивать крестоносцам долг в 200 тыс. марок, а они в свою очередь отдавали долг венецианцам и возмещали расходы рыцарей, оплативших переправу из Венеции. Руководители похода вновь отложили отплытие в Палестину, поскольку Алексий IV попросил отсрочить выплату до марта 1204 г., чтобы успеть собрать деньги. К тому же, поскольку греки ненавидели его из-за поддержки латинянами и он опасался за свою жизнь, то надеялся упрочить своё положение за 7 месяцев. В это время он пообещал оплатить услуги венецианского флота на год вперед и предложил крестоносцам возобновить их договор с венецианцами. Лидеры похода согласились, но когда эта новость стал известна, те рыцари, которые ещё на Корфу противились походу на Константинополь, потребовали корабли для немедленной отправки в Сирию. Их едва убедили остаться.
     Когда Алексий IV покинул Константинополь с отрядом латинян, чтобы собрать дань и укрепить свою власть на нелояльных территориях и попытаться поймать своего дядю Алексия III, напряжённость в городе возросла. Греческое духовенство яростно сопротивлялось попыткам императора осуществить унию с Римом и возмущалось тем, что он приказал переплавить церковную утварь для изготовления денег, причитающихся латинянам. Греки испытывали сильное недовольство при виде императора, братающегося с ненавистными латинянами. Кварталы, населённые латинскими купцами, постоянно подвергались грабежам. В довершение всех бед крестоносцы сожгли мечеть и после этого начался большой пожар, бушевавший целую неделю, уничтоживший множество зданий и приведший к гибели большого числа людей. Чтобы избежать массового избиения, оставшиеся в городе латиняне забирали свои семьи и то имущество, которое могли увезти, и переправлялись через гавань к крестоносцам. Алексий IV по возвращении изменил своё отношение к латинянам, перестал посещать их лагерь и, производя очередные платежи, пытался выпроводить их из империи. В ноябре 1203 г. делегация из 6 человек (трёх франков и трёх венецианцев) вручила ультиматум. Напряжённые отношения переросли в войну.
     Греки дважды отправляли в гавань корабли, пытаясь поджечь венецианский флот, но безуспешно. К этому времени в городе созрел заговор против пролатинского императора. Во главе заговора стоял зять Алексия III Дука Алексий известный под прозвищем Мурзуфл («насупленный»), потому что у него были густые сросшиеся брови. В конце января 1204 г. народ, собравшийся в соборе Св. Софии, потребовал от сената и высшего духовенства изгнания Ангелов. Императором был избран нежелавший того юный Николай Канабус. Алексий IV призвал крестоносцев захватить Блахернский дворец и защитить его, но в качестве посла отправил Мурзуфла, бывшего душой заговора. Сбросив маску, Мурзуфл стал действовать открыто; в конце января он захватил трон, а в начале февраля заключил в тюрьму и, видимо, казнил Канабуса. Алексий IV был задушен тетивой лука, а Исаак, видимо, тоже был убит или по крайней мере вскоре умер. В результате Алексий V Дука Мурзуфл, пра-пра-правнук Алексия I Комнина, пришёл к власти как признанный лидер антилатински настроенного населения. Стычки между греками и латинянами продолжались. Алексий V восстановил морские стены и построил новые деревянные оборонительные сооружения. Он лично принял командование, но в ожесточённом сражении с отрядом рыцарей под предводительством Генриха, брата Бодуэна Фландрского, потерпел поражение и потерял знаменитую икону, которую использовали для воодушевления его армии.