И в это время пришло известие из Москвы о том, что умер отец Ивана Михайловича. Это был настоящий удар для Долгорукова, который искренно любил и почитал своего родителя. Нужно было срочно ехать на похороны. И тут автор мемуаров, отдавая последние почести отцу, делает для их читателей неожиданное открытие: оказывается, у папеньки давно была любовница,
Вернувшись с похорон, Иван Михайлович узнал, что в городе его отлучку объясняли свиданием с мадам Улыбышевой. Что ж, пензенское общество судило в меру своей испорченности. Очевидно, г-н Улыбышев разделял сие заблуждение, беспробудно пил и готовил акт мести. Объект мести погрузился в текущие дела губернии, но был начеку и ждал, когда же гром, наконец, над ним разразится.
И он разразился. Как-то выходя из присутствия, он столкнулся в сенях с Улыбышевым. При выходе на улицу вице-губернатор увидел судью Сумарокова,
Он пошёл к губернатору и потребовал отправить нарочного в Петербург с жалобой на Улыбышева …самой Екатерине. Ступишин справедливо отказал ему в этом, полагая, что обращаться к императрице с такой жалобой стыдно и непристойно для всех: и для самого жалобщика, и для губернатора. Тогда Долгоруков попросил Ступишина отправить жалобу с очередной почтой. О своём праве на защиту княжеского достоинства с помощью дуэли он знал, но оправдывался ссылкой на специальный указ о поединках, в которых говорилось, что тот, кто сам чинит расправу над обидчиком, теряет право иска в суде. Неужели он надеялся найти управу на Улыбышева в суде, отлично представляя, каково было тогдашнее правосудие? Сам себе противореча, Долгоруков пишет, что правосудие закрыло оба глаза на произошедшее, потому что Улыбышев спокойно и беспрепятственно разгуливал по Пензе и рассказывал всем, как он наказал прелюбодейство вице-губернатора. Ступишин пытался собрать хоть какие-то свидетельства и доказательства неблаговидного поступка Улыбышева, но сам потерпевший отказался в этом участвовать, полагая, что намерения губернатора были неискренними. Какие доказательства, если полгорода видели, как трость Улыбышева опускалась на его затылок? Иван Михайлович предпочёл уподобиться страусу, спрятавшего голову в перья, и ждать из Петербурга реакцию на свою жалобу.
Екатерина, рассмотрев жалобу и, очевидно, узнав