Падение Сперанского не могло не насторожить Аракчеева. Граф знал, что его персона досаждает аристократам не меньше поповича-реформатора. О том, насколько велико было в данной ситуации беспокойство Алексея Андреевича за свою дальнейшую судьбу, лучше всего свидетельствуют следующие строки из его письма к брату от 3 апреля 1812 года: «Теперь приступаю вам к описанию, что я думаю известно вам уже выезд из С. Петербурха госп. Сперанскаго и госп. Магнитскаго; на их счет много здесь говорят нехорошаго, следовательно естли ето так, то оне и заслужили свою нынешнюю участь, но вместо оных теперь парьтия знатных наших господ зделалась уже чрезмерно сильна, состоящая из графов Салтыковых, Гурьевых, Толстых и Голицыных, — следовательно я не был с первыми в связях, был оставлен без дела, а сими новыми патриотами равномерно нелюбим, так же буду без дела и без доверенности. Сие все меня бы не безпокоило, ибо я уже ничего не хочу, кроме уединения и спокойствия, и предоставляю всем вышеписанным верьтеть и делать все то, что к их пользам, но безпокоит меня то, что, при всем оном положении, велят еще мне ехать и быть в армии без пользы, а как кажется только пугалом мирьским; и я верен, что приятели мои употребят меня в первом возможном случае там, где иметь я буду верной способ потерять жизнь, к чему я и должен быть готов; вот вам мое положение в ясности». Последняя строка этого письма отражала настроение его автора: «невеселой твой брат и верный друг Граф Аракчеев».
26 марта 1812 года в Комитете министров обсуждалась представленная министром финансов Гурьевым и военным министром Барклаем-де-Толли записка об учреждении в казенных имениях сукноделия. По записке предлагалось завести в Тамбовской и Воронежской губерниях суконные фабрики, положив в основу производства труд казенных крестьян. 20250 ревизских душ планировалось разделить на три части так, чтобы одна часть крестьян занималась сукноделием, а две прочие — прежними работами. На два месяца в году — июль и август — предполагалось останавливать сукноделие, дабы все сообща могли быстрее убрать урожай. Управлять казенными крестьянами, приписанными к суконным фабрикам, должен был, согласно записке, специальный комиссариат. Названные крестьяне не освобождались ни от личных государственных повинностей, ни от обыкновенной крестьянской подати. Последнюю они должны были вносить в казну из суммы денег, заработанных сукноделием. Рассмотрев предложения министра финансов и военного министра, Комитет министров полностью одобрил их и признал за благо поднести составленное ими по данному предмету положение и штаты на высочайшее утверждение Его Императорского Величества.
Председатель Военного департамента Государственного Совета граф Аракчеев, основываясь на сведениях, которые были ему известны по Военному министерству о разных и беспрестанных жалобах крестьян, состоявших при Павловской суконной фабрике, высказал по обсуждавшейся записке особое мнение, отличное от мнения других членов Комитета министров: «Обращение столь знатного числа государственных крестьян в ведение комиссариата, полагаю я, сделает ему совершенное затруднение в управлении оных, не принесет предполагаемой пользы, а огородит и расстроит состояние крестьян. По сим самым причинам я полагаю, что если министерство финансов находит удобность завести суконное изделие в государственных крестьянах, то не новое управление, а оно само может удобнее вводить оное не в виде фабрик, а в виде собственной крестьянской выгоды, которые, оставаясь в прежнем ведении, не столь почувствуют перемену своего состояния».
Сколь ни убедительны были аргументы Аракчеева, согласился с ними лишь один член Комитета — тогдашний министр полиции А. Д. Балашов. Собственноручно нанесенное графом Аракчеевым на бумагу мнение было приложено к решению Комитета министров и вместе с ним передано императору.
На заседании Комитета министров 10 апреля 1812 года статс-секретарь, управляющий делами Комитета, объявил: «Его Императорское Величество, удостоив рассмотреть журнал Комитета 26 минувшего марта о заведении сукноделия в казенных имениях под распоряжением Военного министерства, Высочайше апробовать соизволил мнение Председателя Государственного Совета Департамента Военных дел и согласившихся с ним». Император Александр поддержал Аракчеева, выступившего против всех (за единственным исключением) членов Комитета министров, тем самым признав, что его мнение оказалось более обоснованным, более компетентным. Однако к тому времени Аракчеев уже не занимал должности председателя департамента военных дел Государственного Совета. 30 марта 1812 года он был освобожден от нее императором Александром.
Выезжая в апреле в Вильно, Его Величество приказал отправиться туда же канцлеру Н. П. Румянцеву, В. П. Кочубею, А. Д. Балашову, П. В. Чичагову. Вместе с ними вызван был в ставку готовившегося к войне российского императора и граф Аракчеев.