На царском смотре рота Ермолова произвела наилучшее впечатление на молодого императора – ее он изучал почти полтора часа, тогда как остальным уделил не более 15 минут. Александр I вступил в долгий разговор с Алексеем Петровичем, но дальше беседы дело не пошло – бывший узник Петропавловки так и остался подполковником. Было от чего захандрить…
Более того, несмотря на прилежную службу, Ермолов имел несчастье не понравиться всесильному инспектору всей артиллерии, графу, генералу А. А. Аракчееву. При проверке роты во время смотра в Вильно тот измучил придирками солдат и офицеров, только что вернувшихся в город после утомительного марша по колено в грязи. Когда же в конце смотра Аракчеев загнал его конную роту на ближайшую высоту с целью проверить, как скоро она займет позицию и будет готова к бою, то Ермолов отрапортовал, что его упряжки слишком утомлены и не могут перемещаться быстрее. Аракчеев выразил административное порицание, сочтя лошадей негодными. Самолюбивый Ермолов резко ответил: «Жаль, ваше сиятельство, что репутация офицера слишком часто зависит от скотов». Афоризм очень быстро разнесся в офицерской среде и принес автору немалую славу. А вот Аракчеев долго не мог забыть такого сарказма и при любой возможности вставлял палки в колеса. «Ермолов был неуступчив и шероховат в сношениях с высшими сановниками, – замечал один из современников, – резко писал и еще резче говорил им свои убеждения, шедшие нередко вразрез с петербургскими взглядами, а сарказмы его, на которые он не скупился, задевали за живое многих сильных мира сего». Сам Алексей Петрович признавал: «Мне остается или выйти в отставку, или ожидать войны, чтобы с конца своей шпаги добыть себе все мною потерянное». Ожидание войны оказалось недолгим.
Новый старт ермоловской карьеры почти совпал с началом Наполеоновских войн, в которых российская империя приняла активное участие. В них герою удалось проявить не только исключительную храбрость и недюжинную энергию, но и выдающиеся способности артиллерийского начальника. Казалось, Фортуна повернулась к Ермолову лицом. Ему удалось поближе познакомиться с главнокомандующим М. И. Кутузовым, и тот, приятно удивленный образцовым содержанием ермоловской конной батареи, а также его опытом войны с французами в Италии, пообещал не забыть бравого подполковника. К сожалению, война 1805 г. не задалась для России! Наш герой был хорош в тяжелом арьергардном бою под Амштед-теном, когда, вовремя заняв господствующую высоту, очень умело поддержал штыковую контратаку Милорадовича огнем своей «быстроконной» батареи. Под Аустерлицем, действуя в составе дивизии генерал-адъютанта Ф. П. Уварова, Ермолов до последнего прикрывал своей 36-пушечной конной батареей отход русской армии. Часть его пушек вместе с самим Алексеем Петровичем попала на несколько минут в плен к французской кавалерии Мюрата, но вскоре была отбита Елисаветградским гусарским полком.
За свои отважные и умелые действия Ермолов получил орден Св. Анны 2-й степени.