Недовольство в русской армии росло не по дням, а по часам. Все чаще говорили об умышленном отступлении и об измене Барклая: простые солдаты по-своему относились к командующему, они называли его «болтай, да и только». Как-то подъехав к солдатскому бивуаку, на дежурный вопрос: «Хороша ли каша?» Барклай получил дерзкий ответ: «Хороша, да не за что нас кормят». Дальше – больше: проезжая мимо одного из полков, он услышал себе вдогонку солдатское: «Смотрите! Смотрите! Вот едет изменщик!», затем последовала нецензурная брань. Среди генералитета все громче звучали голоса, требовавшие немедленной смены командующего. Ходили слухи, что якобы начальник артиллерии генерал А. И. Кутайсов от имени ряда энергично настроенных военачальников решился просить Барклая прекратить отступать. Барклай хладнокровно парировал дерзость низшего по чину и должности: «Пусть всякий делает свое дело, а я сделаю свое!» Великий князь Константин Павлович на пару с Беннигсеном интриговал против Барклая, открыто обвиняя его в измене. «Не русская кровь течет в том, кто нами командует. А мы, и больно, должны слушать его», – восклицал он якобы перед толпой жителей Смоленска, когда армия покидала город. В сопровождении Беннигсена, Римского-Корсакова, Армфельда, принца Александра Вюртембергского, Тучкова 1-го и Ермолова цесаревич как командир гвардейского корпуса 1-й армии неожиданно пришел к Барклаю и грубо заорал, что у «немца, изменника и подлеца, продающего Россию, больше под командой он состоять не будет и со всеми своими гвардейцами переходит под начало Багратиона». Последовала нецензурная брань, и присутствовавшие пожалели, что оказались ее свидетелями. Сам Барклай все молча выслушал и через два часа после происшествия предписал великому князю, своему подчиненному, немедленно сдать корпус и отправиться со срочным пакетом в Петербург к императору. Константину Павловичу, который совсем недавно похвалялся перед своей свитой, как он «ловко “немца” отделал», пришлось отбыть на рандеву к Александру I.
В памяти у офицерства еще живы были трагические примеры «немцев» Буксгевдена под Аустерлицем и Беннигсена под Фридландом. И хотя Барклай в отличие от этих «немцев» не был наемником, а родился в России и начал службу в ее армии с нижних чинов, но в его ближайшем окружении оказалось большое количество иностранцев, что само по себе наводило на мысль об измене.
В обществе тоже говорили об «измене» Барклая. Одна петербургская дама, лично с командующим не знакомая, писала о нем: «О разуме его, о свойствах, о благородных чувствах, о возвышении духа никто не слыхивал, а ему вверен жребий России». Другой современник в частном письме заявлял еще резче: «Барклай, ожидая отставки, поспешил сдать французам все что мог, и если бы имел время, то привел бы Наполеона прямо в Москву. Да простит ему Бог, а мы долго не забудем его измены».
В армии сначала шептались, а затем заговорили вслух о захваченном в экипаже французского кавалерийского генерала Себастьяни неком документе, в котором поденно указывались все передвижения русских корпусов. Якобы пришлось удалить из армии заподозренных в шпионаже в пользу французов флигель-адъютантов, польских графов Браницкого, Потоцкого и Влодека, а также адъютанта самого Барклая майора барона Левенштерна – делопроизводителя секретной корреспонденции. В 1802 г. Левенштерн выходил в отставку и уезжал в Европу, а в 1809 г. служил во французской армии и был хорошо знаком с тем же Себастьяни. Левенштерн еще вернется в русскую армию и успеет отличиться в Бородинском сражении и Заграничном походе 1813—1814 гг. Похожая история случилась и с прусским бароном Вольцогеном, флигель-адъютантом императора, отважно сражавшимся под Витебском, Смоленском, Бородином, Тарутином, а затем в Заграничном походе русской армии. Под подозрение попадали все «немцы», а их в армии было более чем достаточно.
В то же время темпераментному князю Багратиону, яростно настаивавшему на немедленном сражении и даже грозившему подать в отставку, никто его грузинское происхождение в вину не ставил. Если под Смоленском Багратион скрипя зубами подчинился Барклаю, но скоро стал открыто обвинять его в неспособности руководить. Как позднее Барклай написал в журнале действий 1-й армии про свои отношения с Багратионом, «я должен был льстить его самолюбию и уступать ему в разных случаях против собственного своего удостоверения, дабы произвести с большим успехом важнейшие предприятия». Не остался в стороне от этого и пользовавшийся непререкаемым авторитетом Алексей Петрович Ермолов, совсем недавно наконец-то ставший генералом. Будучи близким другом Багратиона, он имел весьма холодные отношения со своим начальником Барклаем. Получив тайное поручение от Александра I уведомлять его обо всех разногласиях между командующими двух армий, он приложил немало усилий для назначения единого главнокомандующего вместо Барклая-де-Толли.