По мере того как подрастал Мишенька Шумский, граф все более к нему привязывался. В 1809 году он отдал мальчика на учебу в Петровскую школу в Санкт-Петербурге пансионером к Н. И. Гречу. Миша учился с трудом — то ли был ленив, то ли соображал плохо или же имело место и то и другое. 17 июня 1811 года его учитель Н. И. Греч сообщал Аракчееву: «Я усомнился отпустить Мишеньку сегодня домой, потому что он в течение сей недели вел себя нехорошо, лгал, писал худо и шалил в классах, за что был и наказан. Если Вашему Сиятельству не противно, то он останется сегодня и завтра у меня для переделания своих уроков. При сем случае беру смелость оправдать себя перед Вашим Сиятельством в рассуждении заданного мною Мишеньке грамматического разбора, который по справедливости возбудил негодование ваше, ибо Мишенька имеет еще весьма слабое понятие об оном. Но недоразумение сие произошло от лени Мишенькиной: я ему не задавал анализа, а только велел списать страницу и подчеркнуть те слова, кои он почтет именами существительными, желая чрез то возбудить его внимательность и размышление. Потом я хотел прочесть с ним вместе сию страницу и показать, где он ошибся. По моему мнению, это легчайший способ начинать с детьми грамматику; но он верно желая похвастать, сказал, что ему задан полный анализ и чрез то навлек на меня справедливое Вашего Сиятельства неудовольствие, которое, надеюсь, прекратится чрез сие мое объяснение». В конце данного письма Греч просил графа заплатить за следующие полгода учебы Миши в пансионе. Алексей Андреевич отвечал на следующий же день: «Благодарю вас, Николай Иванович, за поправление Мишеньки, но прошу его севодни уже ко мне отпустить, но как у вас уже скоро начнутся каникулы, а я намерен завтра ехать в деревню, то и хочу его взять с собою, дабы мать его могла видеть, то прошу и книги его отпустить с ним. Я обыкновенно недолго бываю в деревне, то по возвращении моем деньги привезу на вторую половину года, а севодни я не могу доставить, ибо я летом все хозяйство держу в деревне, а здесь ничего не имею».
Аракчеева, кажется, не встревожило поведение Миши в школе. Граф был настолько привязан к мальчику, что совсем не замечал в нем дурных наклонностей, признаки которых явственно проступают в письме Н. И. Греча.
О новой женитьбе Аракчеев больше не помышлял, и мать его уже почти перестала надеяться на то, что старший сын ее когда-нибудь обзаведется настоящей семьей и порадует ее внуками или внучками. Зато Алексей радовал Елисавету Андреевну своими успехами на царской службе да рассказами о том, как милостив к нему император.
Так, 13 июня 1810 года граф писал матери о визите в Грузино императора Александра: «Теперь, дражайшая родительница, я уведомляю вас о полученной мною от государя императора милости, он изволил на обратном пути из Твери в Чудово поворотить и, переправясь чрез разлив версты три водою, приехал ко мне ввечеру в Духов день в Грузино, где изволил ночевать, а на другой день все утро гулял в саду и по деревням ездил, изволил откушать и после полудней, часу в 7-м изволил отправиться в Петербург. Государь был чрезвычайно весел, и все и везде ему чрезмерно понравилось, эта милость есть важная, что государь посещает нарочно своего подданного».
Об этом знаменательном для себя событии Алексей Андреевич сообщил на следующий день и брату Петру. А 3 июля он делился с Петром Андреевичем новой своей радостью: «Отправя к вам, мой братец, прошедшего месяца 14 числа письмо, я в оной же день отправился в мое Грузино, где и пробыл до вчерашнего дня, имея причину там покойно жить по случаю приезда ее высочества великой княгини Екатерины Павловны, которая изволила 28 числа июня прибыть в Грузино в 4 часа по полудни и пробыла до 12-ти часов ночи, и изволила кушать в моем доме и везде гуляла и отменно всем была довольна». Радость Алексея Андреевича от того, что сестра императора Александра оказалась у него в гостях всем довольной, была безмерной. «О себе вам, батюшка братец, скажу, — завершал он свое письмо, — что я, слава Богу, здоров и спокоен ныне и живу более в Грузине. Прошу вас дружески писать ко мне, когда будете иметь надобность в деньгах, полно вам со мною церемониться».
Граф Аракчеев получил от службы все, что только мог от нее получить, — власть, богатство, славу. Но и потерял при этом немало. В отношения его с братьями и другими родственниками после того, как взошел он на вершину власти, вдруг влилось нечто холодное, расчетливое, чуждое обычным родственным связям. Власть, которую он приобрел, была воспринята его родственниками как чаша круговая — обносить их и делиться с ними стало, в их представлении, главной его обязанностью.