Крепко взяла графа обида. А за нею новая мысль об отставке. И кажется, очень серьезная: «Для чего человек сотворен? Дабы сделать полезное; но как я оного не могу, ибо я бы желал, дабы старики почтенные были давно утешены. Но не могу, а все сему не верят; буду же в Грузине, то все будут верить, что я живу смирно и спокойно… Лучше быть в Грузине, нежели на воображаемом благополучии. Время более все объяснит и, может быть, умные и добрые скажут, что и я дальновиден, хотя по-французски болтать не умею».
Чем дольше Алексей Андреевич пребывал в Париже, тем более крепло в нем намерение уйти в отставку. В суете парижских дел, главное из которых было связано с опустевшим французским престолом, император Александр совсем забыл о своем любимце и добрых два месяца не спрашивал его с докладами. Деятельный, вечно занятый какой-либо работой граф вдруг оказался не у дел. Можно ли было сильнее ущемить его самолюбие?
Просьба об увольнении, с которою Аракчеев обратился к Александру, стала для государя полнейшей неожиданностью. Весь день 20 мая Александр и Аракчеев провели вместе: приводили в порядок дела, составляли необходимые указы. Тогда же и произошло между ними решающее объяснение — Аракчеев остался неумолим в своем намерении уйти со службы. Но император Александр в тот же день подписал приказ об увольнении его в отпуск для лечения.
Утром 21 мая Его Величество отправился в Англию. На первой станции остановился на некоторое время поработать. Прислал оттуда в Париж много разных бумаг, а с ними прощальное письмо к Аракчееву. Александр был расстроен. «С крайним сокрушением я расстался с тобою, — признавался он графу. — Прими еще раз всю мою благодарность за толь многие услуги тобою мне оказанные и которых воспоминание останется навек в душе моей. Я скучен и огорчен до крайности; я себя вижу после 14-летнего тяжкого управления, после двухлетней разорительной и опаснейшей войны, лишенным того человека, к которому моя доверенность была неограниченна всегда. Я могу сказать, что ни к кому я не имел подобной и ничье удаление мне столь не тягостно, как твое. Навек тебе верный друг».
Среди писем Александра Аракчееву это письмо особое. С ним сравниться может разве что самое последнее, писанное Его Величеством перед уходом в мир иной осенью 1825 года. Весной 1814 года уходил от Александра Аракчеев. И, пожалуй, в первый раз император почувствовал, что его связывает с графом нечто вовсе и не служебное, что за долгие годы общения с этим мрачным, сухим, деловым человеком он по-настоящему — чисто по-человечески — к нему привязался.
Что же до Аракчеева, то он испытывал подобные же чувства. В обиде его на Александра было что-то женское. Так обижается женщина на своего возлюбленного, переставшего вдруг оказывать ей должное внимание. «Позвольте, всемилостивейший Государь, и мне сказать с прямою откровенностию, что любовь и преданность моя к Вашему Величеству превышали в чувствах моих все на свете, и что желания мои не имели другой цели, как только заслужить одну вашу доверенность не для того, чтоб употреблять ее к приобретению себе наград и доходов, а для доведения до Высочайшего сведения вашего о несчастиях, тягостях и обидах в любезном Отечестве. Вот была другая цель моя! Но почувствовав слабость здоровья и заметя в себе неспособность, которая не дозволяла меня употребить в делах и быть вам, всемилостивейший Государь, полезным, должен был просить себе увольнения. Не смею скрыть также пред Вами, Государь, и того, что бы меня не тяготило душевное огорчение». Так писал Аракчеев Александру 22 мая 1814 года. Утром на следующий день государева канцелярия, которой ведал граф, отбыла в Лондон, а находившиеся при нем офицеры — в любезное свое Отечество.
А утром 24 мая покинул Париж и Аракчеев. Вместе с доктором Даллером и молодым князем Долгоруковым Алексей Андреевич отправился в Ахен. Накануне он скрупулезно подсчитал, во сколько ему обойдется путешествие. Получилось весьма недешево. Но душевное и физическое состояние графа было таким, что ехать надо было, несмотря ни на что. В болезненное воображение его лезли самые дикие мысли. «Я получил с последним курьером письмо самое дерзкое от Казанского протопопа, — сообщал Аракчеев Пукалову за день до своего отъезда из Парижа. — Он пишет ко мне, что он болен, и что для его здоровья нужно жить в деревне два месяца, то он выбрал мое Грузино и туда едет. Я думаю, его посылают туда шпионом, дабы моих людей настроить на что-нибудь странное. Но я, любезный друг, писал в деревню свою, дабы его оттуда выпроводили вон. Это страшная дерзость».