Затем энергичный Ермолов отправился добровольцем в Италию, где принимал участие в нескольких боях с французами на стороне австрийцев. Оказался он там не без протекции влиятельного родственника А. Н. Самойлова и самого графа А. А. Безбородко. В Италии Ермолов впервые познакомился с тактикой боя генералов республиканской Франции. В 1796 г. вездесущий и расторопный Алексей Петрович сменил западное направление на восточное и принял участие в Персидском походе под началом В. А. Зубова. За заслуги при осаде крепости Дербент (батарея Ермолова обстреляла цитадель, вызвав в ней пожар) молодой майор был удостоен следующего ордена – Св. Владимира 4-й степени с бантом.
Св. Андрея Первозванного (1835 г.); Св. Владимира 1-й степени (1821 г.), 2-й степени (1813 г.), 3-й степени (1807 г.), 4-й степени с бантом (1796 г.); Св. Александра Невского с алмазами (1813 г.); Св.Георгия 2-й степени (1814 г.), 3-й степени (1807 г.), 4-й степени (1795 г.); Св. Анны 1-й степени (1812 г.), 2-й степени (1806 г.). Иностранные ордена: прусский Пур ле Мерит (1807 г.) с короной (1858 г.); прусский же Красного орла 1-й степени (1813 г.); австрийский Военный орден Марии Терезии 3-й степени; баденский Военный орден Карла Фридриха (1814 г.), персидский орден Льва и Солнца 1-й степени с алмазами (1817 г.). Кроме того, Ермолов получил знаки прусского Военного ордена Железного Креста (так называемый кульмский крест; 1816 г.), а также золотую шпагу «За храбрость» (1807 г.) и золотую шпагу с алмазами (1813 г.)
За два года до конца столетия Ермолов получил чин подполковника. Казалось, все идет хорошо. Но в ноябре 1798 г. неожиданно грянул гром: увлекшегося просветительскими идеями Ермолова арестовали по делу о тайном смоленском офицерском политическом кружке «Вольнодумцы» и по подозрению в заговоре против императора Павла I уволили со службы. Его даже заключили в Петропавловскую крепость. В этой «убийственной тюрьме» времяисчисление проводилось по различному барабанному бою при утренней и вечерней заре. Здесь Ермолову было о чем подумать! «Во время моего заключения, когда я слышал… плескавшиеся невские волны, я научился размышлять», – писал он позднее. Заточение сделало его не только скрытным, осторожным и изворотливым, но и крайне желчным, что очень ярко отразилось в мемуарах героя. Вскоре Ермолова освободили и выслали в Кострому под надзор «на вечное житье». (На самом деле предписной лист гласил прибыть в лесную глухомань на берег реки Унжи, но нашему герою повезло: нашелся университетский приятель, чей отец счел возможным доложить в столицу, что «якобинца» лучше будет держать под присмотром именно в Костроме.) Там он часто проводил время в обществе другого опального – казачьего генерала Матвея Платова. Несмотря на разницу в возрасте, чинах и образовании, между ними установились приятельские отношения, и атаман якобы даже обещал Алексею Петровичу в жены одну из своих многочисленных дочерей.
Время шло, и по всему выходило, что на военной карьере Ермолова можно ставить крест. Его братья по оружию успели отличиться в походах Суворова в Италию и Швейцарию. Ермолов не без горечи думал о превратностях судьбы, с жадностью перелистывая страницы газет, где собирал «мозаику» победных реляций Александра Васильевича.
Только спустя три года указом вступившего на престол Александра I Алексей Петрович в числе многих был помилован и смог снова поступить на службу. С 1801 г. он – командир конно-артиллерийской роты в Вильно, но все еще подполковник, тогда как сослуживцы, даже совсем молодые, давно обошли его по чинам и должностям. Алексей Петрович впал в депрессию, читал в подлиннике античных мудрецов и серьезно подумывал об отставке. Не получив на это высочайшего соизволения, он пытается «перехитрить» судьбу и проситься то в инженерные войска, то в казаки – лишь бы получить повышение в чине. Но все бесполезно!