Император медлил, делая двух выдающихся полководцев заклятыми врагами и роковыми жертвами своих излюбленных полумер. Барклай не мог открыто указать оппонентам, что действует по плану, утвержденному самим царем. Лукавый же Александр, в свою очередь, тоже молчал, видя, что отступление вызывает осуждение в обществе. Ответственность, а для большинства и вина полностью ложилась на Барклая.
В качестве единого главнокомандующего Багратион казался генералитету предпочтительнее, чем «ледовитый», по удачному выражению Ермолова, Барклай. К тому же у него при всех несомненных достоинствах был важный недостаток. По складу характера он никогда не был своим среди солдат, подобно Багратиону или Кутузову. Он не был ни «военным вождем», ни «отцом-командиром», каких всегда ценили в армии и за которыми по одному лишь взмаху руки готовы были идти в огонь и в воду, не думая о смерти. Барклая могли уважать, но его не любили и тем более не обожали. Ему не хватало искренности и сердечности в общении с подчиненными. Он не умел да и не хотел нравиться, быть, несмотря на высокое положение, «своим в доску». Мало спросить, глядя на солдат сверху вниз из седла: «Хороша ли каша?» Надо сойти с лошади и, присев к костерку, самому ее попробовать, присовокупив, что ничего лучше в жизни не едал, да еще ввернуть соленый армейский анекдот или, потрепав кого-то из «стариков», напомнить ему, как вместе били «басурманов» и т. п. В этом аспекте полководческого искусства Барклай, несомненно, уступал многим своим современникам, тем более Багратиону, которого боготворили не только солдаты, но и генералы. Князь Петр умел быть дружелюбным и приветливым несмотря ни на что. В условиях постоянного отступления холодный, молчаливый и сухой Барклай, не имевший доверия в войсках, был обречен. Все его приказы о маневрах и переходах казались бессмысленными.
На плечах Барклая (как потом и сменившего его Кутузова) лежала колоссальная ответственность. Оба сомневались и мучались, прекрасно понимая, что они противостоят военному гению, не потерпевшему еще ни одного серьезного поражения, что тот способен к самым невероятным тактическим решениям. Барклай прекрасно помнил, что, пока он «топтался» под Рудней и Поречьем, прикидывая, что же ему предпринять, Бонапарт молниеносным фланговым марш-броском возник перед Смоленском. Пришлось снова отступать, опять оставляя на заклание арьергард. Никто не оценил того простого факта, что Барклаю удалось в полном порядке отойти от Немана на сотни километров и не дать численно превосходящему врагу себя разбить. Наоборот, ему удалось потрепать французов в тяжелых арьергардных боях. Соотношение сил начало меняться в пользу России. Слова Ф. В. Ростопчина: «Император России будет грозен в Москве, страшен в Казани и непобедим в Тобольске» начинали сбываться.
Но безмолвное отступление не могло продолжаться: полководческая репутация Барклая не просто покачнулась, ей был нанесен роковой удар.
5 августа (а ведь еще не был сдан врагу Смоленск) Александр I по настоянию Аракчеева, Ермолова и председателя Государственного совета князя Н. И. Салтыкова согласился рассмотреть новую кандидатуру на пост главнокомандующего – Кутузова.
Только под нажимом влиятельных представителей дворянства, от лица которых выступил замещающий военного министра князь Алекс. И. Горчаков 1-й, и очень тяжелой ситуации император после тяжкого трехдневного раздумья все же назначил Кутузова главнокомандующим. Барклай, получивший сообщение об этом из Санкт-Петербурга на марше, с присущей ему стойкостью вынес новое испытание. Под его началом по-прежнему осталась 1-я армия в составе трех самых мощных корпусов генералов Багговута, Остермана-Толстого и Дохтурова.