Получив в командование конно-артиллерийскую роту в Вильне, Алексей Петрович надерзил самому всесильному графу А.А. Аракчееву, бывшему тогда генерал-инспектором всей артиллерии. При проверке роты тот измучил солдат и офицеров бесконечными придирками, когда же в конце выразил удовлетворение содержанием в роте лошадей, Ермолов парировал: «Жаль, ваше сиятельство, то в армии репутация офицеров часто зависит от скотов». Временщик долго не мог простить остряку-подполковнику такого сарказма и всячески препятствовал его дальнейшему карьерному росту. «Мне остается, – говорил тогда Ермолов, – или выйти в отставку, или ожидать войны, чтобы с конца своей шпаги добыть себе все мною потерянное». Забегая вперед, скажем, что Аракчеев со временем смирится с дерзостью обидчика и даже начнет покровительствовать ему. И виной тому выдающийся военный талант Ермолова, не воздать должное коему было уже просто невозможно. Граф будет потом откровенно льстить нашему герою: «Когда вы будете произведены в фельдмаршалы, не откажитесь принять меня в начальники главного штаба вашего». Отношение же Алексея Петровича к Аракчееву ничуть не переменилось в лучшую сторону. В павловское царствование он звал Аракчеева «Бутов клоп», в александровское – «Змей, что на Литейной живет». Но более всего досталось руководимым Аракчеевым военным поселениям с их жесткой регламентацией жизни, муштрой и палочной дисциплиной. Ермолов говорил, что там «плети все решают», и извещал своего друга, графа А.А. Закревского, что если подобное замыслят на Кавказе, то пусть вместе с приказом посылают ему увольнение. «Мои поселения на Кавказе гораздо лучше Ваших, – пояснял он в письме, – моим придется разводить виноград и сарачинское пшено, а на долю Ваших придется разведение клюквы». Интересно, что слова «клюква» и «развесистая клюква» как имя нарицательное для всякого рода нелепости и чепухи приписывается Б.Ф. Гейеру (сатирическая пьеса «Любовь русского казака») и датируется 1910 годом. Но не в таком же ли значении употребил здесь это слово Ермолов? Но надо сказать, Алексей Петрович отнюдь не отличался злопамятством: когда Аракчеев был уже низвержен, он принял живое участие в судьбе его сына, сосланного Николаем I на Кавказ за беспробудное пьянство…
«Господствующей страстью была служба, и я не мог не знать, что только ею одною могу достигнуть средств несколько приятного существования», – скажет Ермолов. Истый патриот, он находил упоение в боях за свое Отечество. В 1805 году, с началом Русско-австро-французской войны, рота Ермолова вошла в состав армии М.И. Кутузова и заслужила высокую оценку своими действиями в кампании. За мужество и распорядительность в баталии под Аустерлицем Алексей Петрович получил чин полковника. В Русско-прусско-французской войне 1806−1807 годов он проявил себя доблестным артиллерийским командиром, отличившись в сражениях под Голымином, Морунгеном, Гугштадтом. В бою же под Прейсиш-Эйлау Ермолов отослал лошадей и передки орудий в тыл, заявив солдатам, что «об отступлении и помышлять не должно». Под Гейльсбергом в ответ на замечание, что французы близко и пора открывать огонь, ответил: «Я буду стрелять, когда различу белокурых от черноволосых». В сражении под Фридландом он, проявляя чудеса храбрости, устремлялся в самое пекло битвы. За подвиги он был награжден тремя орденами и золотой шпагой. В 1809 году Алексей Петрович получает чин генерал-майора и назначение инспектором конно-артиллерийских рот.
Но в 1811 году его перевели в Петербург командиром гвардейской артиллерийской бригады. Ермолов службу в гвардии называл «парадной» и не очень ее жаловал. Случилось так, что накануне нового назначения наш герой сломал руку, и это дало ему повод для иронии: «Я стал сберегать руку, принадлежащую гвардии. До того менее я заботился об армейской голове моей». Рассказывают, как на смотре он как бы ненароком ронял перед фронтом платок, а солдаты в нелепо узких мундирах с превеликим трудом тщились нагнуться и поднять его. Сим своеобразным способом он показывал августейшему начальству непригодность такой амуниции в условиях войны, недопустимость парадомании и показухи.
В военных Ермолова более всего раздражали отсутствие самостоятельной мысли, творческой инициативы, слепое исполнение приказов вышестоящих. Однажды Александр I спросил об одном генерале: «Каков он в сражениях?» – «Застенчив!» – ответил Ермолов. В другой раз говорили о военном, который не в точности исполнил приказание и этим повредил делу. «Помилуйте, я хорошо его знал, – возразил Алексей Петрович. – Да он, при отменной храбрости, был такой человек, что приснись ему во сне, что он чем-нибудь ослушался начальства, он тут же во сне с испуга бы и умер». Тупого аккуратиста, флигель-адъютанта Л. фон Вольцогена он прозвал «вольгецогеном» (нем.: «хорошо воспитанный») и «тяжелым немецким педантом».