Действительно, во второй половине дня 4 августа Наполеон неожиданно остановил боевые действия своей армии. Общие потери русских в тот день при обороне были относительно невелики — около тысячи человек. Многие историки считают, что Наполеон сознательно не наращивал натиск на позиции Раевского и тем самым давал русским армиям возможность вернуться в Смоленск. А они как раз возвращались в город — вюртембергская разведка видела «часть Борисфена и гряду холмов на правом берегу реки. На них были видны длинные черные колонны, спешно тянувшиеся к Смоленску, поднимая облака пыли. Многие полагали, что это был Жюно с вестфальцами, про которых было известно, что они произвели неверное движение, и с минуты на минуту надеялись увидеть, как они атакуют русских, но вскоре голова этих колонн мирно соприкоснулась с русской позицией. Это были Барклай и Багратион»28. Думаю, что на самом деле немецкая разведка видела только шедшую вдоль Днепра армию Багратиона. Наполеон надеялся, что подошедшие русские армии ночью выйдут из города на дорогу к Красному, чтобы дать столь желанное генеральное сражение. Но утром, когда рассвело, Наполеон понял, что и в этот раз, как раньше под Вильно, Свенцянами, у Дрисского лагеря и под Могилевом (то есть уже в пятый раз!), русские не решились вступить с ним в бой. И тогда 5 августа Наполеон усилил натиск на Смоленск. Возможно, что он допустил промах и ему следовало бы раздавить сопротивление относительно слабого корпуса Раевского еще в первый день сражения. Учитывая явное неравенство сил, Наполеону это наверняка удалось бы. Сам Раевский писал: «Если бы неприятель употребил в сей день (4 сентября. — Е. А.) такой же неослабный напор, какой употребил он на другой день, но уже без надежды на те последствия, кои могли произойти от взятия Смоленска, мною защищаемого, то кончено было бы существование русской армии и жребий войны был бы решен невозвратно!»29
К ночи с 4 на 5 августа русские армии Барклая и Багратиона подошли к Смоленску, но в город не вступили. Оставаясь за мостом через Днепр, отделявшим Петербургское предместье от самого города, Барклай 5 августа взял командование сражением в свои руки и заменил обескровленный корпус Раевского корпусом 1-й армии под командованием генерала Д. С. Дохтурова. К нему присоединилась дивизия П. П. Коновницына. Остатки славной дивизии Неверовского так и стояли на месте, под стенами города. Подвиг Неверовского продолжался. Как вспоминал П. X. Граббе, «героическая наружность Неверовского осталась в моей памяти. Он был одет как на праздник. Новые эполеты, из-под расстегнутого мундира или сюртука, не помню, виднелась тонкая, белая рубаха со сборками, блестящая и готовая сталь в сильной руке. Он был красив и действовал могущественно на дух солдата»10.
Весь день 5 августа русские войска сдерживали отчаянные атаки французов. Они выстояли, несмотря на обстрел своих позиций 150 французскими орудиями и начавшийся в городе пожар. Польские источники утверждали, что Смоленск был подожжен в результате обстрела его польской артиллерией31. Побывавший в городе капитан П. Пущин (его корпус стоял в резерве) записал 5 августа в дневник: «Интересуясь ходом сражения, я отправился в Смоленск к тому месту, где происходил самый ожесточенный бой. Восхищаясь отвагой и мужеством наших войск, я все-таки пришел к печальному выводу, что нам придется скоро уступить город. Я видел храброго генерала Дохтурова в самом опасном месте под сильным перекрестным огнем в воротах Смоленска. Улицы предместья были запружены трупами, меховыми шапками французских гренадер и разными частями вооружения. Это было наглядное свидетельство того, что неприятель несколько раз врывался в предместье и каждый раз был откинут нашими войсками»32. Паскевич подтверждает: «Почти все генералы приходили смотреть, как гласис противу моего бастиона был устлан телами французских гренадер»33.
Вывод о неизбежности отступления, сделанный капитаном Пущиным, был верен. Барклай решил, что позиции обороняющихся в городе уязвимы, особенно с флангов, поэтому следует оставить город. Ночью с 5 на 6 августа по приказу Барклая Дохтуров ушел из Смоленска. 2-я армия, по согласованию главнокомандующих, еще раньше двинулась по Московской дороге и заняла господствующую возвышенность близ города, а арьергард 1 — й армии стал сдерживать противника, с тем чтобы постепенно вывести из города и его окрестностей все русские войска и дать им оторваться от преследования на один-два дневных перехода.