Кутузов распорядился, чтобы войска шли налегке, только с парой патронных повозок на полк. 20 августа последовал строгий приказ: «Обозам никаким отнюдь при армиях не быть», от колонн были отосланы генеральские экипажи и вообще весь обоз направлен южнее от дороги31. Одновременно Кутузов попросил Багратиона прислать 15 эскадронов конницы на замену совершенно измотанным войскам 1 — й армии, к которой относились и арьергардный корпус Коновницына, и приписанная к нему кавалерия. Она, по словам Кутузова, «за употреблением оной чрез долгое время… ослабела до того, что на некоторое время нужно отдохновение». Приказание было отдано кстати — войска Коновницына, часто останавливаясь, с трудом сдерживали натиск Мюрата, Понятовского и Даву. С большими потерями полковник К. А. Крейц со своим отрядом, шедший параллельно Коновницыну (он был отряжен от 1-й армии), не дал противнику обойти корпус на Большой дороге справа. Ту же задачу выполнял шедший слева от корпуса Коновницына отряд генерала К. К. Сиверса (от 2-й армии), хотя положение то одного, то другого отряда становилось подчас критическим — французы не давали русским расслабиться ни на минуту. Особенно труден оказался следующий день, 20 августа, когда с самого раннего утра атаки французов шли одна за другой, и войскам Коновницына, Сиверса и Крейца пришлось останавливаться восемь раз, чтобы отразить натиск французской кавалерии и пехоты. После «удержания места… — писал Коновницын Кутузову, — мы всегда принуждены были уступить оное»32. О том же Коновницын сообщал и Багратиону: «Несколько раз удерживали мы место и всегда принуждены были уступать оное, следуя шаг за шагом»33. О том, чтобы остановиться хотя бы на час, передохнуть или сварить кашу, не приходилось и мечтать. Мосты на пути отступления поджигали с огромным риском, буквально за несколько минут до подхода неприятеля. Как-то раз, под Гжатью, случилось так, что французы прорвались уже по горящим настилам моста и попытались отрезать отряд Крейца от основных сил русской армии. Крейцу с его отрядом пришлось, не разбирая дороги, поспешно отступать через поля, овраги, а потом и через реку Гжать. Но солдаты не бросили приписанные к отряду пушки и сумели протащить их на веревках по дну реки. Все эти дни Багратион управлял войсками арьергарда, вникая во все подробности. Его дежурный генерал Маевский вспоминал: «Идет ли часть войск, тащится ли повозка, остались ли казачьи коши — все это издали должен знать Маевский и наизусть сказать князю. Образ моей службы был таков: весь день ехать с князем верхом, на привале писать, вечером начинать работать с Сен-При, продолжая это до 12 часов ночи. В это время встает князь и работает со мной до свету»34.
Двадцатого августа главные силы армии подошли к Колоцкому монастырю. Кутузов дал диспозицию дальнейшего движения всех трех колонн, конечной точкой которого впервые стало село Бородино. Интересно, что почти тотчас эту диспозицию отменили, так как вроде бы признали, что у Колоцкого монастыря можно взять позицию лучше и здесь дать сражение Наполеону. Но после тщательного осмотра решили, что лучше все-таки позиция при Бородине. Кутузов писал Ростопчину, что позиция у монастыря хороша, но «слишком велика для нашей армии и могла бы ослабить один фланг»35. В итоге «армия продолжила отступное движение к селу Бородино, где местоположение представило более к тому выгод»36. Новая диспозиция, оглашенная утром 21 августа, предполагала следующий порядок движения: первая (правая) колонна, включающая армию Багратиона, шла от Колоцкого монастыря по маршруту: село Рожество, Ельня, Шевардино, Алексинка и Бородино. Вторая (средняя) колонна (Дохтурова), состоявшая из 5, 3 и 6-го корпусов 1-й армии, двигалась от Колоцкого монастыря по большой почтовой дороге через деревни Акиншину, Валуеву до Бородина (10 с половиной верст). Наконец, третья (левая) колонна генерала Милорадовича (2-й и 4-й корпуса) отступала от Колоцкого монастыря до Бородина через деревни Просолову, Еремееву, что составляло 13 с половиной верст37. Один из последних приказов Багратиона с марша был дан 20 августа: «Всем корпусам 2-й Западной армии, сваривши каши, выступить сего числа в полдень 12-ти часов в поход в деревню Максимовку обыкновенным порядком»38. Это были последние 12 верст боевого похода, которые в своей жизни совершил Багратион.
После отхода армии от Колоцкого монастыря Коновницын с величайшим трудом сдерживал французов. С какого-то момента счет отступлению пошел буквально на часы. Кутузов просил Коновницына, чтобы тот «с ариергардом держался долже (дольше. — Е. А.) и что для армии нужно 4 часа времени»39. Коновницын, понимая, как важно дать нашим армиям дойти до Бородина и, не теряя порядка, разместиться на позиции, был готов «держаться сколько можно». «Ежели с 1-й позиции буду сбит, — писал он Багратиону, — перейду на вторую и стану там держаться до самой крайности»40.