За все время службы ни с кем из сановников не имел Алексей Андреевич столь теплых отношений, как со Сперанским в последние четыре года Александрова царствования. Михайло Михайлович обращался с графом, словно со своей возлюбленной — предельно ласково и бережно. Был участлив к малейшей смене душевных настроений в нем, малейшему физическому недомоганию. Звал его прозвищем уважительным и нежным: «почтенный и мною чтимый настоятель Грузино» или «добрый пустынник». Даже деловые письма к Аракчееву Сперанский неизменно начинал с душевных излияний. «Милостивый государь граф Алексей Андреевич! Узнав, что ваше сиятельство прибыли в Грузино не зная еще, когда будем иметь удовольствие видеть вас здесь, поспешаю заочно встретить вас и поздравить с окончанием пути, — писал он графу 27 ноября 1823 года. — Тут действительно есть с чем поздравить после толиких трудов и забот и беспокойствий. Дай Бог, чтоб здоровье от сего не потерпело, и хотя пребывание ваше здесь также не есть отдых, но, по крайней мере, не столь великое изнурение». 28 февраля 1824 года: «Позвольте представить вашему сиятельству на дорогу ящичек лучшего зеленого чаю, на сих только днях из Кяхты полученного, и вместе с тем пожелать вам от всей души счастливого пути и скорого к нам возвращения. Не смею занимать вас лично, зная, сколь много вы озабочены, и быв впрочем уверен, что и лично и заочно вы извините не слова, а чувства». 15 апреля 1825 года: «Весьма благодарен вашему сиятельству, что прежде отбытия вашего буду иметь удовольствие еще раз видеть вас и сопроводить теплыми моими желаниями и молитвами Грузинского настоятеля».
В письмах своих к Аракчееву Михайло Михайлович рассказывал новости столичной жизни, делился мнением о тех или иных людях, сообщал о собственном житье-бытье — такие письма пишут друзьям, а не начальникам по службе. 19 августа 1822 года Сперанский сообщал графу, что выдал свою дочь замуж. «Заочно препоручаю зятя моего Александра Алексеевича Багреева в ваши милости», — тут же добавлял он. И граф не оставил зятя Сперанского своим покровительством: при первой же возможности исходатайствовал ему у государя солидную должность — губернатора в Чернигове.
Алексей Андреевич в свою очередь часто приглашал Сперанского к себе в Грузино и не упускал случая выказать ему свою симпатию и уважение. Следующие строки, писанные Алексеем Андреевичем 24 марта 1819 года, пожалуй, самые любопытные в переписке его со Сперанским, если не во всем его эпистолярном наследии.
«Милостивый государь Михаила Михайлович! — писал Аракчеев из Петербурга в Пензу. — Если вы, милостивый государь, на меня сердились за некоторое исполнение вашего препоручения в покупке Новгородского имения, то в оном согрешили, ибо мне приятнее всего угождать вам, потому что я любил вас душевно тогда, как вы были велики, и как вы ни смотрели на нашего брата, любил вас и тогда, когда по неисповедимым судьбам Всевышнего страдали, протестовал против оного, по крайнему моему разумению не только в душе моей, но всюду, где только голос мой мог быть слышан; радовался и концу сего неприятного для вас дела и буду не только радоваться, но и желать вашему возвышению на степень высшую прежней. Вот вам, милостивый государь, отчет в моих чувствах». Далее граф объяснял, почему стал он желать возвышения Сперанского: «Желание мое в оном, по слабости человеческой, основано на следующем: становясь стар и слаб здоровьем, я должен буду очень скоро основать свое всегдашнее пребывание в своем Грузинском монастыре, откуда буду утешаться, как истинно русской, новгородской, неученой дворянин, что дела государственные находятся у умного человека, опытного как по делам государственным, так более еще по делам сует мира сего, и в случае обыкновенного к несчастию существующего у нас в отечестве обыкновения беспокоить удалившихся от дел людей в необходимом только случае отнестись смею и к вам, милостивому государю. Окончу сие письмо тем, что как вы далеко от Волхова ни удаляетеся, не от вас зависеть будет быть близким к дряхлому волховскому жителю, которой пребудет всегда с истинным почтением, вашего превосходительства покорный слуга».
Не все сказанное в приведенном письме представляется в равной мере искренним. (Можно, в частности, усомниться в правдивости слов: «Я любил вас душевно тогда, как вы были велики».) Но уважительное отношение Аракчеева к Сперанскому проступает здесь отчетливо. Предчувствие же скорой отставки от службы и близости времени, когда придется ему «основать свое всегдашнее пребывание» в Грузине, граф выражал тогда в целом ряде других писем.