На престол вступил Павел I. Он ненавидел свою мать и стремился делать все наперекор тому, что делала Екатерина. Первым его мероприятием было торжественное перенесение останков Петра III из Александро-Невской лавры в Зимний дворец. Там были установлены два открытых гроба: один с уже истлевшим мертвецом, другой с умертвившей его женою. Придворные, вынужденные присутствовать при этой страшной церемонии, падали в обморок от отвращения и удушливого запаха. Затем оба гроба были торжественно перевезены в Петропавловский собор и там преданы погребению.
Покончив с траурной церемонией, Павел принялся искоренять порядки, установленные покойной императрицей. Прежде всего он уволил со службы ее приближенных и фаворитов, разослав их по деревням. Он приблизил и наградил тех, кто был при ней в немилости, на важнейшие должности назначил своих гатчинцев, голштинских немцев, тупых поклонников фрунта и шагистики. Наперекор матери он вернул из ссылки Радищева и освободил из заточения Новикова. Но Павел отнюдь не собирался осуществлять либеральные мероприятия. Он установил еще более деспотическое правление и палочную дисциплину, придирчиво искореняя всякий либеральный дух. Щеголеватость воинской одежды при Екатерине была сочтена им женоподобною. Он ввел прусскую форму: узкие неудобные мундиры с фалдами, низкие треугольные шляпы. Солдаты и офицеры должны были носить букли и косы, туго перевитые проволокою, намазанные салом и посыпанные мукой.
Шагистика, беспрекословное угождение зачастую безумным прихотям императора стали обязательными. Ежедневно под его гнев подпадали десятки придворных, офицеров, солдат. Он не терпел противоречия, был мрачен, подозрителен и жесток.
При таком императоре не приходилось и думать о возвращении к литературной деятельности, а тем более к журналистике. Крылов снова решил переждать. Оставаться у Бенкендорфов дальше было неудобно: он и так явно злоупотреблял их гостеприимством. Поэтому Иван Андреевич принял предложение одного из их знакомцев, князя С. Ф. Голицына, — занять при нем должность личного секретаря и учителя его детей.
Князь Сергей Федорович Голицын принадлежал к числу видных военных деятелей екатерининских времен. Он получил образование в кадетском корпусе, изучал математические науки. Женившись на «племяннице» Потемкина, он получил за ней немалое приданое, в том числе имение Казацкое, а также покровительство всесильного князя Таврического.
Сергей Федорович был небольшого роста, но сложения весьма плотного. Он косил на один глаз и имел обыкновение его прищуривать. Это придавало ему несколько насмешливый вид. Он был умен и храбр и пользовался всеобщим уважением. Павел, вступив на престол, осыпал его наградами. Однако за слишком прямо высказанное мнение Голицын вынужден был оставить службу и поселиться в Москве. Война с Францией заставила Павла призвать из деревенского уединения Суворова и вспомнить о других боевых генералах. Голицын был назначен в действующую армию командиром корпуса, но еще не успел доехать до места назначения, как снова впал в немилость и вместо заграничного похода отправился в свое поместье. Опальному генералу не было еще и пятидесяти лет, и вынужденное безделье его тяготило, а незаслуженная опала вызывала недовольство императором и его гатчинской кликой.
Близко знавшая Крылова в этот период его жизни М. П. Сумарокова рассказывала: «Знакомство Крылова с князем Голицыным началось около времени коронации императора Павла, совершившейся в апреле 1797 года. Вскоре после этого события князь впал в немилость за неуважение к какому-то из новых временщиков и получил повеление жить в деревне. Он отправился в Казацкое, и с ним и несколько лиц, хотевших показать ему свою преданность; тогда он взял с собою и Крылова. Поехали на Зубриловку (что ныне в Балашовском уезде Саратовской губернии), и вот в какое время (в июле и августе 1797 года) Крылов прожил в этом прекрасном имении, где он страдал от комаров и мошек, искал спасения от них на высокой колокольне и однажды найден был спящим под самыми колоколами».
Голицыны недолго пробыли в Зубриловке. Княгиня желала скорее переехать в свое киевское имение — Казацкое. Это имение было в забросе, до него не доходили руки. Бескрайние черноземные поля, благодатная природа, армия крепостных холопов, казалось, обеспечивали верный и большой доход, однако Казацкое приносило лишь убытки, и княгине хотелось убедиться в причинах нерадения управляющего и увеличить свои доходы.
Переехав в Казацкое, Сергей Федорович в хозяйственные дела не вмешивался, предоставив их всецело супруге. В хорошую погоду он ездил прогуливаться в коляске или верхом по окрестностям. После обеда отдыхал и читал книги по военной стратегии или истории. До другого чтения был он не охотник. Вечерами сражался на шахматной доске с сыновьями или Крыловым, неизменно выходя победителем.