Бедствие, навалившееся на Россию в лице наполеоновской армии, казалось, должно было ослабить внимание к Сперанскому его врагов. Кто способен думать о личных своих недругах в то время, когда опасность угрожает Отечеству? Выявилось, что многие способны. С началом войны России с Францией сановники, считавшие Сперанского личным своим врагом, решили воспользоваться новой ситуацией, дабы окончательно с ним расправиться.
30 июня 1812 года граф Ростопчин, ставший не более двух месяцев назад губернатором в Москве, обратился к императору Александру с письмом: «Народ снова возмутился против Сперанского, когда пришло было известие об объявлении войны, и я не смею скрыть от Вас, государь, что все, от первого и до последнего по всей России, считают его изменником. Между купцами стало известно, что он находится в Нижнем и что это недалеко от Макарьева, куда многие отправляются на ярмарку, то поговаривают, что можно его там убить». Не успокоившись на этом, Ростопчин написал 23 июля еще одно письмо: «Не скрою от Вас, государь, что Сперанский очень опасен там, где он теперь. Он тесно сблизился с архиепископом Моисеем, который известен как великий почитатель Бонапарта и великий хулитель ваших действий. Кроме того, Сперанский, прикидываясь человеком очень благочестивым, народничая и лицемеря, снискал себе дружбу нижегородцев. Он сумел их уверить, будто он жертва своей любви к народу, которому якобы хотел он доставить свободу, и что Вы им пожертвовали министрам и дворянам».
22 августа добрый знакомый графа Ростопчина нижегородский вице-губернатор Крюков, исполнявший в то время должность гражданского губернатора, направил министру полиции следующее секретное «представление» о тайном советнике Сперанском: «6-го числа настоящего августа в день Преображения Господня, когда я был на Макарьевской ярмонке, здешний преосвященный епископ Моисей по случаю храмового праздника в кафедральном соборе давал обеденный стол, к коему были приглашены некоторые из губернских чиновников. После обедни был тут и г. тайный советник Сперанский, обедать однако ж не остался; но между закускою занимался он и преосвященный обоюдными разговорами, кои доведя до нынешних военных действий, говорили о Наполеоне и о успехах его предприятий, к чему г. Сперанский дополнил, что в прошедшие кампании в немецких областях при завоевании их он, Наполеон, щадил духовенство, оказывал к нему уважение и храмов не допускал до разграбления, но еще для сбережений их приставлял караул, что слышали бывшие там чиновники, от которых о том на сих днях я узнал. О чем долгом поставляю вашему высокопревосходительству всепокорнейше донести. Вице-губернатор Александр Крюков». О характере этих якобы состоявшихся разговоров Сперанского с епископом Моисеем нижегородскому вице-губернатору Крюкову стало известно из доноса губернского предводителя дворянства князя Е. А. Грузинского.
6 сентября министр Балашов доложил об этом «представлении» нижегородского вице-губернатора императору Александру. 9 сентября его величество подписал на имя пребывавшего в Нижнем Новгороде начальника 3-го округа военного ополчения графа Петра Александровича Толстого рескрипт, в котором коротко говорилось о тогдашнем военном положении и организации ополчения, а в конце содержалась приписка: «При сем прилагаю рапорт вице-губернатора Нижегородского о тайном советнике Сперанском. Если он справедлив, то отправить сего вредного человека под караулом в Пермь, с предписанием губернатору, от Моего имени, иметь его под тесным присмотром и отвечать за все его шаги и поведение».
В Нижний Новгород высочайшее повеление прибыло как раз в годовщину коронации Александра—15 сентября. В этот день, тотчас после обедни, Сперанский заглянул к графу П. А. Толстому с поздравлением и здесь впервые увиделся и познакомился с одним из виновников своего падения — историком Н. М. Карамзиным. Побыв немного в доме Толстого, Михайло Михайлович ушел, а вскоре после его ухода прибыл фельдъегерь из Санкт-Петербурга. Ознакомившись с императорским повелением, граф Толстой не стал терять времени на проверку справедливости рапорта вице-губернатора Крюкова, но вызвал к себе состоявшего за адъютанта коллежского асессора Филимонова, подал ему запечатанный конверт и сказал: «Поезжай сейчас к Руновскому, вручи ему этот конверт и не отходи ни на минуту, пока все не будет исполнено, а потом возвратись ко мне с подробным обо всем отчетом».
Андрей Максимович, прочитав содержавшееся в конверте, всплеснул руками в растерянности: «Боже мой, кто бы это думал!» Тут же вызвал к себе частного пристава и поехал с ним и с Филимоновым в дом, где проживал ссыльный сановник. Там Руновский объявил ему высочайшее повеление отправиться в тот же вечер в Пермь.