«Сказанное вами о одиночестве моем очень справедливо; и признаюсь, что свою сторону очень люблю и верю вам, любезному другу, что мне будет скучно долго оставаться за границей», — так напишет Алексей Андреевич в письме от 12 апреля 1814 года И. А. Пукалову. В одном из своих писем к Аракчееву Иван Антонович выскажет мнение, что граф слишком привязан к царскому двору. «Здесь вы, любезный друг, погрешили, сказав обо мне, что я к двору очень привык; вижу из онаго, что и умные люди иногда могут ошибаться, — ответит Аракчеев. — Знайте, любезный друг, и проверьте после мною сказанное: я двора никогда не любил, и он мне всегда был в тягость; а заблуждение мое было, признаюсь, в том, что я думал, будто честный человек может делать общую пользу. Оно может быть и возможное дело, но в государстве маленьком, а в нашем пространном колоссе оное есть заблуждение… Поверьте же мне, что я могу жить очень спокойно один и никогда не поскучав, что давно не обедал при дворе; ибо кто чист сердцем и душею, тот всегда доволен будет».
Алексей Андреевич был искренен в этих своих признаниях. Он действительно чувствовал себя очень и очень неуютно при царском дворе в окружении разных знатных господ, в большинстве своем настроенных к нему враждебно. Если где и был он на своем месте, если где имел отдохновение, так это у себя в Грузине. Оттого и устремлялся туда всякий раз, когда обстоятельства позволяли. Брал с собою адъютантов с фельдъегерями и занимался в Грузине своими служебными делами, работая днями напролет, плодотворно и неустанно. Там же принимал и разных просителей и подчиненных по службе. Те, кто посещал графа в Грузине, впоследствии говорили, что в своем имении он был не таким, каким доводилось им знать его в Петербурге.
Отъезд из Санкт-Петербурга в апреле 1812 года выбил Аракчеева из привычной жизненной колеи, он остался практически без дела и в таком состоянии принужден был находиться два месяца.
О переходе наполеоновской армией Немана граф узнал вечером 12 июня, будучи в Вильно. Здесь же пребывал и государь император. Его Величество развлекался балом, когда ему принесли весть о начале войны России с Францией. 14 июня Алексей Андреевич выехал с Александром в Свенцяны. А 16 июня в Вильно был уже Наполеон со своим штабом. Обосновался французский император в том же самом дворце и в тех же комнатах, где прежде располагался император Александр. Здесь он принял генерал-адъютанта Балашова, посланного к нему российским государем с письмом еще вечером 13 июня. В своем письме самодержец российский заявлял императору-завоевателю, что вступит с ним в переговоры только при условии, что французская армия отойдет за границу. Александр обещал Наполеону, что не скажет ему и не выслушает от него ни одного слова о мире до тех пор, пока хоть один вооруженный француз будет оставаться в пределах России.
Возможно, только по прочтении этого письма, то есть лишь на четвертый день своего пребывания на российской земле, хозяин Европы понял, что война ему предстоит не в пример прежним — долгая и трудная. И не «польская» она будет, как назвал он ее в своем воззвании к армии, а самая что ни на есть
— Какая дорога в Москву? — спросил между прочим Наполеон в разговоре с Балашовым.
— Ваше величество, — отвечал посланник российского императора, — этот вопрос меня немного затрудняет: русские говорят так же, как и французы, что все дороги ведут в Рим. Дорогу на Москву избирают по желанию: Карл XII шел через Полтаву.
После того, как Наполеон и Александр обменялись письмами, дальнейший ход войны России с Францией совершенно определился.
Начиная с 17 июня определенной стала и участь графа Аракчеева. Вот как сам он писал о произошедшем с ним в этот день событии: «Июня 17-го дня, 1812 года в городе Свенцянах призвал меня Государь к себе и просил, чтобы я опять вступил в управление военных дел, и с онаго числа вся Французская война шла через мои руки, все тайные донесения и собственноручные повеления Государя Императора». Аракчеев был назначен управляющим канцелярией императора Александра. (7 декабря 1812 года этому учреждению будет присвоено официальное наименование «Собственная Его Императорского Величества канцелярия». Граф Аракчеев будет управлять ей до 19 декабря 1825 года.)