В центре своей вотчины — в деревне Любуни, на пригорке, Аракчеев приказал построить высокую башню, увенчанную большим позолоченным яблоком. Это яблоко было видно издали, но и граф, забираясь в башню, далеко видел, особенно через артиллерийскую подзорную трубу, которую он неизменно брал с собою, когда ехал осматривать имение. Садился в свою обсерваторию под яблоком, пил чай и поглядывал по окрестностям. Впоследствии он на этой башне соорудил какое-то устройство типа эоловой арфы. Крестьяне, проезжая мимо вечером или ночью, слышали странные звуки и крестились от страха.
Необычное устройство, которое Аракчеев придавал своим деревням, призвано было внушать их жителям ощущение полнейшей беззащитности перед хозяином, мысль о невозможности что-либо утаить от его всепроникающего взора.
Лично для себя Аракчеев сразу же по вступлении во владение вотчиной распорядился поставить в Грузине деревянный дом в два этажа — почти дворец. Он был построен еще в 1799 году. В 1800 году к нему добавилось шесть деревянных флигелей. При входе в аракчеевский дом над крыльцом была вывешена надпись: «Сей дом мал, да покоен». Впоследствии и другие помещики — соседи Аракчеева — обзаведутся такой же надписью.
Прислугу свою Алексей Андреевич облачил в ливрейную одежду. Из документов Грузинской вотчины видно, что первая партия такой одежды была заказана им в 1798 году.
Во время отставки Аракчеев завел в Грузине оркестр музыкантов и хор певчих — купил музыкальные инструменты, истратив довольно солидную сумму денег (одно фортепиано обошлось ему в 200 рублей ассигнациями), нанял капельмейстеров для обучения дворовых игре на них. И музыканты, и певчие подбирались из дворовых, обладавших музыкальными способностями. Граф организовал их обучение с помощью профессиональных учителей музыки и пения, которые были наняты за годовую плату в 300 рублей. Хор по велению графа обучался петь русские песни и старинные романсы, такие, как «Батюшка у ворот стоит», «Веселяся в чистом поле», «Выше всех и веселей», «Любить не перестану», «Полюбя тебя смущаюсь» и др.
Сам граф, пребывая в Грузине, одевался скромно, но аккуратно. Даже во время правления Александра I, когда введенные Павлом образцы одежды были отменены и установилась полная свобода выбора одеяния, Алексей Андреевич не изменял павловским модам: носил камзол старого покроя, волосы подбирал в небольшой пучок на затылке. Высокий, худощавый, с холодными проницательными глазами, с постоянно озабоченным выражением лица, с речью медленной и голосом гнусавым, он казался человеком не от мира сего.
В последующем работы по переустройству Грузинской вотчины приняли еще больший размах — по сути, они продолжались до самой кончины ее владельца. Аракчеев был неутомимым строителем. В рассматриваемое время он еще только начинал проявлять свои творческие способности в деле преобразования людского быта.
Но уже первые шаги Аракчеева по обустройству своей вотчины показали, какой неуемной энергией обладал этот человек! Какая жажда деятельности жила в нем! Грузино было для него подлинным спасением. Не будь его, он, кажется, сгорел бы. Куда мог бы он, отправленный в отставку в расцвете сил, приложить себя — не будь Грузина? Командовать, надзирать, наводить где-либо порядок, что-либо перестраивать — сделалось за годы, проведенные им на службе в Гатчине и Санкт-Петербурге, первейшей потребностью его души. Эту потребность он сполна мог удовлетворять в своей Грузинской вотчине. Здесь ничто не мешало ему проявлять себя в полную меру своих способностей. Быть может, именно поэтому так часто бросался Аракчеев заявлениями о своем уходе со службы. Конечно, во многом это была игра, но принимал он эту игру, надо признать, легко. И на службу, будучи отставленным от нее, особенно-то и не рвался.
Высочайший приказ императора Павла от 1 октября 1799 года Аракчеев воспринял как большое несчастье. Но не сам по себе факт увольнения от должностей расстроил его более всего, а печальная участь его брата Андрея.