Тот, естественно, обиделся и начал искать себе союзников в борьбе с новым врагом среди врагов старых — греков. А у тех отношения с новыми властями в Константинополе тоже не сложились, уж очень рыцари свысока на греков смотрели. Греческая знать начала тайные переговоры с Калояном. В обмен на переход под свою власть он обещал им вторгнуться в пределы Латинской империи с собственным войском и 10-тысячным отрядом половцев. В феврале 1205 года против крестоносцев восстало население восточной части полуострова Пелопоннес. Калоян поспешил на помощь восставшим. В тот момент основное войско крестоносцев вело бои в Малой Азии с одним из осколков Византийского государства — Никейской империей. Не желая терять Фракию, император Болдуин отправил гонцов на восток с требованием перебросить войска. А сам, не дождавшись их прибытия, в конце марта 1205 года выдвинулся к Адрианополю (сегодня Эди́рне, — город в северо-западной европейской части Турции). 13-14 апреля 1205 года между болгарами и рыцарями произошла битва, в которой последние потерпели жестокое поражение. Император Балдуин попал в плен, где впоследствии умер насильственной смертью.
Поражение под Адрианополем нанесло только что созданной Латинской империи тяжелый удар, от которого она, по существу, не оправилась. Многие захваченные ранее крестоносцами земли были утрачены, империя превратилась в маленькое феодальное государство. На востоке, в Малой Азии, адрианопольская победа Калояна позволила воспрянуть духом разгромленным византийцам, Никейской империи, и через полвека с небольшим латинскому владычеству в Константинополе пришёл конец