По счастью, жизнь нашего героя протекала там спокойно: он пользовался благоволением губернатора, был предоставлен себе и мог заняться самообразованием. Здесь, в ссылке, он усердно постигает латинский язык, изучать который начал еще в Благородном пансионе. Каждый божий день его чуть свет будит костромской протоиерей и ключарь Е.А. Груздев со словами: «Пора, батюшка, вставать: Тит Ливий нас давно уже ждет!» Под руководством сего ментора Алексей Петрович научился свободно читать в подлинниках Вергилия и Горация, Сенеку и Юлия Цезаря и др. Вообще древнеримская цивилизация и культура сопутствовали Ермолову на протяжении всей его жизни. Он вспоминал, например, что в детстве на печи в родительском доме изображена была Церера – древнеримская богиня плодородия. Не удивительно, что и своего денщика Федула он переименует в Ксенофонта. А как благоговел он перед Тацитом, фрагменты из «Анналов» и «Истории» которого буквально цитировал наизусть! Критики и в писаниях самого Ермолова обнаруживали «тацитовский слог». «На миг ему представилось, – пытается проникнуть в думы нашего генерала О.Н. Михайлов, – что вместо егерей впереди идут легионеры – в белых плащах, сандалиях, панцирях и блестящих шлемах с широким гребнем. А он, вооруженный полномочиями императора, несет в этот край централизующую и цивилизаторскую идею Древнего Рима». Великий князь Константин Павлович будет писать ему на Кавказ: «Вы, вспоминая древнеримские времена, теперь проконсулом в Грузии, а я префектом, или начальствующим легионами, на границе Европы». А Ермолов, этот «проконсул», воюя с непокорными горцами и проводя преобразования во вверенном ему крае, будет часто повторять слова Октавиана Августа: «Я медленно спешу». И наконец, молнии его беспощадной сатиры разили глупость, подлость, бесчеловечность – со свистом Ювеналова бича!
Помилован и возвращен из Костромы Ермолов был уже Александром I в 1801 году. Впоследствии Алексей Петрович признается, что арест и ссылка пошли ему на пользу: «С моею бурною, кипучею натурой вряд ли мне удалось бы совладать с собой, если бы в ранней молодости мне не был бы дан жестокий урок. Во время моего заключения, когда я слышал над своей головой плескавшиеся невские волны, я научился размышлять». Но если в жизни он демонстративно подчеркивал свою лояльность режиму и незаинтересованность в политической карьере, если в нем и появились известная скрытность, осторожность и умение лавировать, то на характере его юмора сие никак не отразилось. Вот что сказал об этом Н.С. Лесков: «Начальство не любило Ермолова за независимый, гордый характер, за резкость, с которою он высказывал свои мнения; чем выше было лицо, с которым приходилось иметь дело Ермолову, тем сношения с ним были резче, а колкости ядовитее». А великий князь Константин Павлович бросил: «Он очень остёр, и весьма часто до дерзости».