«Аракчеев был очень умен и большой мизантроп», — написала в своих мемуарах Александра Осиповна Смирнова-Россет. Что ж, в незаурядности ума Аракчеева вряд ли можно усомниться. Однако мизантропом назвать его позволительно лишь с большими оговорками. Конечно же, он часто мучил окружающих, но ведь не менее и сам был мучим ими. Грубость его, жестокость по отношению к людям происходили не от ненависти его к ним. По натуре своей Аракчеев был незлобив и обладал способностью прощать даже тех, кто причинил ему самые великие страдания. Тех же людей, кто когда-либо сделал ему добро, граф почитал как никто другой. Память о таких людях он считал для себя священной. Поклонение им, давно умершим, стало на склоне лет подлинной его религией.
Свое Грузино Алексей Андреевич превратил в настоящий храм сей религии.
Роскошный сад, раскинутый за его домом на довольно обширном пространстве, был примечателен не только диковинными деревьями и птицами, но и памятными знаками. В одной из аллей между ветвями кустов стояла белая плита с надписью: «Сын в память родителю». В другой меж лип возвышался бюст, под которым было написано: «Столетнему крестьянину Исааку Константинову, посадившему в молодости сии липы». На одном из островков грузинского сада граф соорудил павильон с колоннами. На нем крупными буквами было начертано: «Храм, посвященный в память воспитавшему меня генералу Мелиссино».
Но более всего памятных знаков посвящено было в Грузине главным благодетелям Аракчеева — императорам Павлу и Александру.
В 1824 году в одном из своих писем государю Александру граф писал: «Преисполненный чувств благодарности к виновнику сего благодеяния, я не могу ограничить себя пожизненным изъявлением сих чувств. Я бы желал передать оныя векам, сохранив в сельском моем убежище, и по смерти моей, благоговейное воспоминание о монархе, благодетеле моем, и об излиянных от него на меня милостях. Сия малая жертва, приносимая благодетелю благодарностью, основана на ежегодных способах, доставленных мне его благодеяниями. Утешительно мыслить, что праведная душа в Бозе почивающего моего благодетеля видит и одобряет чувства, меня одушевляющие». Алексей Андреевич вел речь о Павле I. Бюсты, памятник, портреты этого императора видели все, кто приезжал в Грузино.
В редких письмах к императору Николаю Аракчеев почти всегда ссылался на его отца — своего первого августейшего благодетеля. «Ваше Императорское Величество простит шестидесятилетнему старику, естли он осмеливается два раза в год беспокоить Ваше Императорское Величество своими письмами, но воспитание, полученное мною от покойного августейшего вашего родителя, приучило меня помнить дни рождения и Ангела моего Государя, Ваше Императорское Величество» — так обращался граф к Николаю I 6 декабря 1829 года. «Старинное воспитание, данное мне покойным августейшим вашим родителем, — писал он императору Николаю 24 сентября 1831 года, — образовало меня тем, что ничего для меня нет в сем свете приятнее, как исполнять волю моего Государя, и никакое во всю мою службу обо мне общее мнение публики для меня не было приятно и дорого, кроме мнения моего обо мне Государя. Следовательно я награжден уже вполне на всю мою остальную жизнь, когда мой Государь Император, Ваше Императорское Величество признали бывшую доверенность ко мне покойного императора, а потому и утешаю себя приятнейшим удовольствием, что изволит заключать во мнении своем, что я ее был достоин».
До конца своих дней не переставал Аракчеев чтить память и государя Александра. Благодаря графу Грузино сделалось не только местом поклонения Александру I, но и настоящим музеем этого императора. Граф оставил нетронутыми те комнаты, в которых Александр во время пребывания в его доме отдыхал или обедал. В кабинете, где стоял диван, на котором Его Величество почивал, и стол, за которым работал, Алексей Андреевич повесил портрет его со следующей надписью: «В Бозе почивающий Государь отец и благодетель мой, Император Благословенный Александр I-й, в приезд к графу Аракчееву в село Грузино, всякий раз изволил занимать сии комнаты. Посетитель! Преклони колена с умилением и сокрушенным сердцем на месте сем и принеси теплую молитву ко Всевышнему об успокоении в Царствии Небесном души Александра Благословенного, Отца Отечества!»
В этом кабинете находился и специальный ящик, куда граф сложил конверты с собственноручными надписями Александра I за три последних года. И ящик со стеклом сверху, в котором лежала рубашка Александра, подаренная им графу в тот день, когда умирала Екатерина II. В столе хранился портфель для бумаг, на котором имелась надпись: «Граф Аракчеев в течение 25 лет употреблял портфель сию для доклада дел Государю Благословенному Императору — его отцу и благодетелю Александру Павловичу. Она содержала в себе много важных и благодетельных для пользы отечества приказаний и учреждений».