И все же после трудных объяснений с Ермоловым генерал-инспектор русской артиллерии граф А. А. Аракчеев переменил отношение к Алексею Петровичу и даже стал ему покровительствовать. В 1808 г. Ермолов наконец получил чин генерал-майора и назначение инспектором конноартиллерийских рот. Ему довелось инспектировать Молдавскую армию генерал-лейтенанта Михаила Андреевича Милорадовича. Тот по привычке попытался «закормить» инспектора байками о своих подвигах как на поле боя с турками, так и с местными красавицами-валашками, но Ермолов дело свое провел строго и указал в рапорте все как есть, а не так, как хотелось бы Милорадовичу.
С октябре 1809 г. Ермолов командовал артиллерийской бригадой в дивизии сына А. В. Суворова – генерала Аркадия Александровича Суворова, а затем резервными войсками на юго-западной границе с Галицией. Молодой горячий генерал не раз просился поехать на театр войны с Турцией, но не получил на это разрешения. С 1809 г. командовал резервными войсками в Киевской, Полтавской и Черниговской губерниях. В мае 1811 г. его перевели в Петербург командиром гвардейской артиллерийской бригады. Одновременно с ней командовал гвардейской пехотной бригадой (лейб-гвардии Измайловский и Литовский полки). На пороге новой войны с Наполеоном, с марта 1812 г., Алексей Петрович уже командир гвардейской пехотной дивизии.
После начала Отечественной войны 1812 года по настоянию М. Б. Барклая-де-Толли Ермолов заменил Ф. О. Паулуччи на посту начальника Главного штаба 1-й Западной армии. Ермолова отличали поразительная работоспособность, неиссякаемая энергия, исключительная распорядительность, поразительное умение стремительно ориентироваться в изменяющейся обстановке, уникальная память на цифры, способность четко формулировать распоряжения и приказы командующего, организовывать военную разведку и борьбу со шпионажем.