Жестокость его сделалась легендарной еще во время его службы в Гатчине. Рассказы же современников о том, как обращался он с подчиненными в Петербурге, напоминают скорее повести из жизни дикого и хищного зверя, нежели описания службы под его началом. Но вот загвоздка: хищник в этих рассказах есть, а жертв что-то не видать! Кого из своих подчиненных Аракчеев сделал несчастным, кому испортил жизнь? Об этом современники не говорили, в сущности, ничего. Насмешки, грубая брань, оскорбления, пощечины, тычки, удары тростью — вот практически весь арсенал «вредительства», использовавшийся Аракчеевым в отношении своих подчиненных. Но это был обыкновенный для того времени набор способов поддержания порядка, применявшийся любым нормальным начальником. И не только в армии, но и в гражданских ведомствах. Это был также и широко использовавшийся в учебных заведениях набор педагогических средств для обеспечения успехов в учебе и примерного поведения учеников.
Свидетельства современников о том или ином историческом деятеле не могут полностью совпадать с тем, что говорят о нем документы. Расхождение здесь закономерно. Но ни в одном, пожалуй, случае в истории XVIII–XIX веков оно не является столь разительным, доходящим иной раз до противоположности, как в случае с Аракчеевым. Более всех жестокий, выше меры безжалостный, по мемуарам современников, Аракчеев предстает в документах человеком, которому вовсе не чуждо милосердие, который зачастую более сдержан, нежели другие, в применении наказаний. В качестве примера можно привести резолюции Аракчеева на приговорах, вынесенных по военно-судным делам в 1799 году.
Поручик Соколов был приговорен судом за пьянство и растрату казенного имущества к смертной казни через повешение. Аракчеев, узнав, что осужденный до суда восемь лет содержался под арестом да еще в оковах, освободил его от наказания и приказал отставить от службы.
Поручик Обольянинов за различные правонарушения был приговорен к лишению чинов, дворянского звания и к исключению из службы. Аракчеев, приняв во внимание, что осужденный три года находился под арестом в оковах, приказал выключить его из службы без лишения чинов и дворянства.
Фейерверкер Кастрюков был приговорен за растрату 440 рублей казенных денег к повешению. При этом суд решил утраченную сумму взыскать с подполковника Гаствера и штабс-капитана Капустина, доверивших осужденному казенный транспорт. Генерал-лейтенант Аракчеев наложил резолюцию: Кастрюкова наказать шпицрутенами и оставить на службе, а истраченные деньги, если не в большей, то в равной их части, взыскать также и с вышестоящего начальника упомянутых лиц генерал-майора Мордвинова.
Подобные поступки были для Аракчеева скорее правилом, чем исключением. Строгий выше меры и даже просто грубый в своей речи, он в применении конкретных наказаний к своим подчиненным, особенно из нижних чинов, оказывался милосерднее других командиров. Более того, он не только старался смягчать назначенные ими наказания, но иной раз наказывал чересчур ретивых начальников. Так, 11 января 1799 года инспектор артиллерии генерал Аракчеев сделал выговор генералу Меллеру за чрезмерное наказание нижнего чина гвардейского артиллерийского батальона, совершившего побег.
В свете подобных фактов совсем не кажется неискренней сентенция Аракчеева о прославившемся своей грубостью военном губернаторе Петербурга Н. П. Архарове из письма великому князю Александру от 9 июня 1797 года: «Я всегда, батюшка, уверен в себе был, что г. Архарова Бог когда-нибудь да накажет. А что касается до трудов вашего высочества, то я, прося Бога, чтоб он только подкрепил ваше здоровье, радуясь, что от такого человека, каков г. Архаров, дела идут через руки вашего высочества, ибо, конечно, уже не будет никого несчастных, и государь наш император ни в чем не прогневается и не принужден будет к принужденному наказанию».
Взяв в управление то или иное ведомство, Аракчеев немедленно принимался за составление инструкций, в которых стремился, насколько возможно, подробнее регламентировать деятельность своих подчиненных. Сам этот факт вызывает в нашем сознании образ сухого, черствого человека, педанта до мозга костей. Но вот парадокс: стоит нам обратиться непосредственно к аракчеевским инструкциям и начать их читать, как образ этот сразу исчезает.
Алексей Андреевич писал инструкции тем самым языком, которым говорил. А говорил он весьма оригинально. Цветистая его речь, слышанная однажды, запоминалась надолго. Словами он мог избить человека не слабее, чем палкой. Две-три его фразы, а бывало, и всего два-три слова могли оставить в душе человека рану на всю оставшуюся жизнь. Он обладал редкостным чутьем на самые обидные выражения, которые в любой ситуации находил с легкостью необыкновенной. Так, проводя по поручению императора Павла смотр Екатеринославскому гренадерскому полку, Аракчеев назвал знамена этого не раз отличавшегося своей храбростью на полях сражений гвардейского подразделения «екатерининскими юбками».