Иван Михайлович решил спасти свой «предмет», убедил её уйти от мужа и договорился с отцом Улыбышевой принять у себя беглую дочь. Между любовниками началась лихорадочная и страстная переписка, о которой скоро узнала и Евгения Сергеевна, жена Ивана Михайловича. «О, достойная женщина!» – лицемерно восклицает он на страницах своих мемуаров. – «Никогда, никогда, я тебя не стоил!»
Мадам Улыбышева знала «несколько» французский язык и включала в свои письма стихи французских поэтов, придавая своему роману с женатым вице-губернатором настоящий, французский колёр. Писали не листы – писали друг другу тетради, сообщает Долгоруков. При этом, утверждает наш любовник, отношения с Улыбышевой у него были сугубо платоническими: «Никогда, никогда, Бог тому свидетель, уста мои её уст не коснулись».
Французская фраза «Я был в небытии, пока тебя не встретил!», содержавшаяся в одном письме Елены Александровны, стала «камнем основания погибели» вице-губернатора. Естественно, оскорблённый в своих супружеских чувствах г-н Улыбышев узнал об этой переписке жены с Долгоруковым и искал теперь только случая, чтобы отомстить ему. Как-то возвращаясь в Пензу из гостей и проезжая мимо села, принадлежавшего Колокольцеву, председателю Верхнего земского суда и родственника Улыбышева, Долгоруков едва не попал в настоящую засаду. Улыбышев подговорил нужных людей и дал им поручение как следует прибить селадона, но они не успели, потому что Иван Михайлович уехал из гостей прежде, чем они успели выставить кордон.
Узнав об этом, Иван Михайлович слегка присмирел и совать нос за пределы Пензы более не решался. Для рассеяния тоски по Улыбышевой он завёл роман с мадам Загоскиной, которая, по выражению самого любовника, «начинала делать бремя в моём сердце». Ведь сердце вице-губернатора было всегда открыто для этого бремени! А Улыбышева, между тем, не переставала «обременять» уже завоёванное сердце бедного Ивана Михайловича и, сидя в одиночестве в доме у отца, требовала «очной ставки». Любовник ссылался первое время на весенний разлив и половодье, но для страстной любви полые воды не могут служить оправданием. И Иван Михайлович поехал, но решил с полпути вернуться назад, чтобы засвидетельствовать свою любовь мадам Загоскиной, которая уже вытеснила мадам Улыбышеву из его сердца. Вместо себя Долгоруков решил послать нарочного с письмом, в котом он клялся Улыбышевой в любви до гроба и сравнивал её с самим божеством. Об этом быстро узнали в доме Колокольцевых, и посланник Долгорукова был людьми Колокольцева перехвачен, а письмо вице-губернатора у него изъято. Теперь г-н Улыбышев обладал против своего врага несомненным компроматом.
Пенза зажужжала, загудела, зашумела от слухов и пересудов. Давненько пензенское общество не получало такого повода для сплетен. Г-н Улыбышев, между тем, приехал в Пензу, ездил по домам и читал всем письмо Долгорукова к своей жене. Тут вице-губернатор увидел, наконец, всю «глубину изрытой подо мной ямы». Несчастному любовнику не оставалось делать ничего иного, как спасать свой брак с Евгенией Сергеевной, которая, кстати, была опять беременна. Сохраняя внешне вид неуязвимости, Иван Михайлович продолжал вести светский образ жизни и, как ни в чём не бывало, гулял и веселился вместе с супругами Загоскиными. А мадам Загоскина, шокированная распространившимися по губернии слухами, вспомнила о своём супружеском долге («она была благоразумна и любила добродетель») и стала показывать Ивану Михайловичу, что его визиты «её оскорбляли и страшили», а его оправдания, что эти визиты объясняются деловыми отношениями с её мужем, решительно отвергала. Ведь она, несомненно, была достаточно «остра» и тоже слыла дамой, приятной во всех отношениях!