Приняв министерство и поближе ознакомившись с его делами, Алексей Андреевич спустя две недели после своего назначения военным министром подал в отставку. Император был несказанно удивлен. «Какая тому причина?» — спросил он графа. Аракчеев в ответ заявил: «Если ваше величество отставили с таким позором Вязмитинова, то все думали, равно как и я, что он найден вами в нерачении, изобличен в злоупотреблении и в расстройстве в делах. Но когда я принял его должность и вошел в подробность дел, то увидел, что коллегия и департаменты, равно и канцелярия главнокомандующего все было в совершенном порядке; не только не заметил злоупотребления, но, напротив, редкое его бескорыстие. А потому, судя, что если такой человек, каков Вязмитинов, служа всегда с такою честию и столь долгое время императрице, бабке вашей, императору, родителю вашему, и Вашему Величеству, отставлен так позорно, то и всякий другой должны ожидать такой же участи, без всякой причины, по одному только вашему капризу. Для чего и прошу меня отставить и иначе не соглашусь служить, если не отдадут должной справедливости Вязмитинову». Его Величество тут же приказал объявить, что Вязмитинов уволен в отставку по прошению, с мундиром и со всем содержанием, каковое прежде получал. Сергей Козьмич получил по этому поводу довольно лестный рескрипт. В 1811 году он будет назначен членом Государственного Совета, а в 1812 году станет главнокомандующим Санкт-Петербурга, исполняющим обязанности министра полиции и председателем Комитета министров.
Заступив на пост министра военных сухопутных сил, граф Аракчеев начал (как всегда, когда брал новую должность) с того, что навел порядок в делопроизводстве, наладил строгую отчетность всех частей министерства и войсковых подразделений, уменьшил количество бумаг, установил более четкое распределение дел между административными органами, разграничил функции военной коллегии, инспектора всей артиллерии, инспектора инженерного департамента, инженер-генерала и др.
7 февраля 1808 года новый военный министр объявил всем начальникам, что «если при рассмотрении рапортов окажутся какие неверности или оные не будут доставляемы в надлежащее время, то на счет шефов полков и командиров бригад за оными отправляемы будут нарочные курьеры, а потому и издерживаемые в оба пути прогонные деньги вы-чтутся из их жалованья».
20 июня того же года граф-министр создал «Комитет для изыскания способов к кратчайшему делопроизводству в военной коллегии и ее экспедициях» с целью «направить все к порядочному течению и содержать общую связь».
24 июня 1808 года им введен новый порядок сдачи полков.
26 июня — издано новое положение о медицинской экспедиции; последняя коренным образом преобразована. Вслед за тем преобразованию подверглись счетная экспедиция и инженерный департамент.
Расходование средств Аракчеев взял под свой особый контроль. Он учредил должность дежурного генерала при военном министре и возложил на него осуществление постоянного надзора за интендантской частью.
8 1808 году русская армия насчитывала 705381 человек и 292252 лошади; в 1809 году в ней было 743713 человек и 262092 лошади. Снабжение такой массы людей и лошадей всем необходимым являлось, естественно, нелегкой задачей, и существовала большая опасность, что при этом будет притесняться население тех территорий, на которых располагались войска. Дабы предупредить какие-либо обиды и притеснения местных жителей, Аракчеев предписал войскам при передвижении их внутри империи получать от губернаторов «Акты о благополучном следовании», которые объявлялись в газетах для всеобщего сведения. Одновременно военный министр составил новые, более строгие правила приема и браковки провианта и фуража для армии.
Для подготовки России к новой войне с Францией особое значение имели такие меры в министерстве Аракчеева, как увеличение численности армии на 30 тысяч человек, создание учебных частей, организация запасных рекрутских депо, на базе которых в Отечественную войну 1812 года готовились резервные армии.
Артиллерия продолжала оставаться объектом особого внимания Аракчеева и после того, как он, сдав пост инспектора артиллерии, занял должность военного министра. 30 апреля 1808 года были введены в действие разработанные им инструкции о порядке проверки и приема артиллерийских орудий и материальной части к ним (лафетов, передков, зарядных ящиков и т. д.) при передаче из арсенала в боевые подразделения. 25 июня того же года было принято решение о внесении изменений в конструкцию бомб и гранат. Специальные исследования оптимальных параметров их, а также последующие испытания опытных образцов бомб и гранат новых видов проводились под руководством Аракчеева. На подобных испытаниях был впервые в России установлен наиболее оптимальный и фиксированный вес заряда и пули в патронах всех видов огнестрельного оружия русской армии.