Когда государственный секретарь вошел в императорский кабинет, Александр ходил взад-вперед, о чем-то размышляя. «Здравствуйте, Михайло Михайлович, — сказал он, — много у тебя сегодня бумаг?» — «Довольно», — был ответ. «Хорошо, оставь их здесь, я просмотрю их после». После этих своих слов Александр немного помолчал. Затем подошел к Сперанскому поближе и спросил: «Скажи мне по совести, Михайло Михайлович, не имеешь ли ты чего на совести против меня?» Сперанский, услыхав сей вопрос, растерялся, ноги у него, как сам он признавался впоследствии, задрожали. Александр тем временем продолжал: «Повторяю, скажи, если что имеешь». — «Решительно ничего», — отвечал, несколько опомнившись, госсекретарь. Тогда император произнес то, ради чего, собственно, и вызвал Сперанского к себе и затеял весь этот разговор с ним: «Обстоятельства требуют, чтобы на время мы расстались. Во всякое другое время я бы употребил год или даже два, чтобы исследовать истину полученных мною против тебя обвинений и нареканий. Теперь же, когда неприятель готов войти в пределы России, я обязан моим подданным удалить тебя от себя. Возвратись домой, там узнаешь остальное. Прощай!»
Сперанский не сказал Лазареву, в чем заключались официально выдвинутые против него «обвинения и нарекания». Суть последних приоткрыло его письмо к Александру I, датированное январем 1813 года. «Я не знаю с точностию, в чем состояли секретные доносы, на меня возведенные, — писал в нем Михайло Михайлович. — Из слов, кои при отлучении меня Ваше Величество сказать мне изволили, могу только заключить, что были три главные пункта обвинения: 1) что финансовыми делами я старался расстроить государство; 2) привести налогами в ненависть правительство; 3) отзывы о правительстве».
По свидетельству сановников, находившихся во время разговора в секретарской комнате, Сперанский вышел из кабинета императора в начале одиннадцатого часа. Он был в крайне расстроенных чувствах, которые попытался было скрыть от присутствовавших, повернувшись к ним спиной, но не сумел. Подвела попавшая под руку собственная шляпа. Михайло Михайлович стал укладывать ее в свой портфель вместо бумаг и, обнаружив, что делает что-то несуразное, опустился в бессилии на стоявший рядом стул. Кто-то, встревоженный бледностью его лица, побежал за водой, и в этот момент дверь государева кабинета вновь отворилась, и показался Александр, весьма мрачный лицом. Упавшим голосом он произнес: «Еще раз прощайте, Михайло Михайлович», — и скрылся.
Сперанский по выходе из дворца направился сначала в дом к Магницкому. Там ему представился случай точнее угадать свою участь: Магницкого дома не оказалось — он только что был увезен в ссылку. К своему дому Михайло Михайлович подошел около полуночи, внешне совершенно спокойный. Еще издали заметил он приставшую к подъезду почтовую кибитку. В самом же доме встретил министра полиции Балашова и правителя его канцелярии Якова де Санглена. Уже готовый к наихудшему, Сперанский равнодушно выслушал государево предписание немедленно ехать в ссылку в город Нижний Новгород. Тут же были собраны имевшиеся в доме деловые бумаги и заперты в кабинет, который де Санглен запечатал. Часть бумаг Сперанский сложил в особый пакет, написал к ним несколько строк сопроводительного письма, скрепил пакет собственной печатью и отдал Балашову с просьбой передать лично государю. Затем подошел к двери в спальню, за которой спали его дочь и теща, но так и не решился войти и разбудить их. На скорую руку набросал им записку прощания с приглашением приехать к нему по весне. Вновь подошел к двери спальни и по русскому обычаю перекрестил ее в знак прощального благословения спавших за нею. После чего торопливо простился с прислугой, вышел из дому и сел в кибитку. Стояла морозная погода, и потому невозможно было ехать без теплой шапки. Но у Сперанского, как оказалось, таковой не имелось. Тогда его камердинер Лаврентий, довольно ленивый, но добродушный мужик, отдал ему собственную теплую шапку, которую недавно купил.
Современники назовут это событие «падением Сперанского», но будут вполне осознавать, что в действительности произошло не простое падение высокого сановника, которое часто случается в сложной и азартной игре, именуемой политикой. Пал не просто сановник, но реформатор. Сама форма «падения» — внезапная ссылка без какого-либо официального указа или объявления, — вызывала по меньшей мере недоумение. За что мог подвергнуться Сперанский столь странному наказанию? Это недоумение должно было возрасти еще более вследствие тех слухов, которыми обросло случившееся с ним.