Но и здесь не знал он покоя по вине всё той же Устиньи Толстой. Дорого обошлось ему легкомысленное увлечение коварной вдовушкой. Когда ей стало ясно, что Осип Абрамович как законный муж для неё потерян, Устинья Ермолаевна в январе 1797 года предъявила ко взысканию «рядную запись» на 27 тысяч рублей, выданную ей Ганнибалом при вступлении в брак в январе 1779 года[26]. Весьма маловероятно, чтобы у неё, по происхождению и по первому замужеству принадлежавшей к семьям весьма скромного достатка, вообще были такие суммы, и уж совсем невероятно, чтобы она решилась доверить таковые Ганнибалу, зная его характер, а также непрочность сколоченного ею союза с ним, но документ существовал. Вскоре после смерти Екатерины II, запретившей ей подавать прошения на высочайшее имя, Толстая обратилась с челобитной к новому императору Павлу I. 23 марта 1797 года написал императору и Осип Абрамович. Жалуясь на свою участь — человека, «угнетённого несчастными стечениями в жизни своей», он изложил «чистосердечное признание» во всём, что касалось его имущественных отношений с У. Е. Толстой и просил милостивого решения.
«По несчастию моему бывшая жена моя Устинья Ермолаева дочь, вдова покойного капитана Толстого… сего генваря месяца утруждала ваше императорское величество просьбою о взыскании с меня по рядной, данной мною ей по замужестве, в 27 тысяч рублей. Признаюсь, всемилостивейший государь, что оная действительно мною дана, но не получил за нею приданое ни малой части из означенного числа, коего она по состоянию её до замужества, кое известно всему Псковской губернии благородному обществу, такового немаловажного количества она иметь никогда не могла, а дана оная из одной моей к ней любви и приверженности; но, оставя все сии дальновидный исследования, я, живши ещё с нею, собственностию моею построил ей в городе Пскове дом, в коем она ныне сама живёт и пользуется онаго доходами, под городом купил дачу, устроил оную, доходы оной доставляют ей непосредственно; притом сделано мною ей по её желанию довольное число бриллиантовых вещей и серебро, доставшееся мне по разделе с братьями по кончине родителя нашего, всё мною ей предоставлено, что составит суммою против рядной, и она, признав уже себя удовлетворённою по оной, дала мне в том расписку, чтоб ей по оной с меня никакого взыскания не чинить, о чём неоднократно говорила господину полковнику Александру Максимовичу Вындомскому и артиллерии подпоручику Павлу Ивановичу Неелову. Но во усугубление совершенного моего несчастия, оная ея расписка у меня по бытности моём в её доме похищена, а она, воспользуясь сим случаем, споспешествующим её коварству, означенную рядную представила правительству, дабы по оной с меня учинить взыскание и тем ввела меня до бедственного состояния, в коем я ныне по несчастию нахожусь. Вот истинное моё признание, августейший монарх, моего проступка и обличения ея несправедливого поступка».
По словам Ольги Сергеевны Павлищевой, Осип Абрамович ещё «выселил» из Михайловского «душ шестьдесят в пустошь, подаренную им Устинье Ермолаевне». Но документального подтверждения тому нет.
Прошения и У. Е. Толстой и О. А. Ганнибала были «оставлены без резолюции». Толстая обратилась в суд, и дело тянулось несколько лет, дойдя до Сената. Оно не было закрыто не только после смерти ответчика, но и после смерти самой истицы в начале 1810-х годов. «И с тем умерли, а решимости не получили»,— писал Пётр Абрамович Ганнибал, когда, как опекун Надежды Осиповны, запрашивал в 1813 году Сенат о состоянии этого дела.
После смерти Осипа Абрамовича (12 октября 1806 года) Михайловское оказалось обременённым множеством различных долгов. Их пришлось «очищать» опеке.
К устройству усадьбы в псковских своих владениях О. А. Ганнибал приступил вскоре же после получения наследства в 1782 году и исподволь всё время занимался ею, несмотря на тревожность и суетность своей жизни. Как можно судить по Межевым книгам, Геометрическим специальным планам 1786 года, а также «Книге экономических примечаний Опочецкого уезда»[27], первоначально усадьбу стали разбивать на месте деревни Поршюгово, где проходила просёлочная дорога, возле небольшого ручья, и назвали её Генварское (возможно, по первоначальному имени Осипа Абрамовича — Януарий). К 1786 году здесь уже было возведено несколько усадебных построек и разбит «ирегулярный парк». Но вскоре стало очевидным неудобство этого места — на суходоле, у мелководного, пересыхающего летом ручья — и явное преимущество другого места — в версте-полутора севернее, на высоком лесистом берегу реки Сороти, между двумя озёрами, Кучане и Маленец, где находилось селение Устье (такое наименование его встречается даже много позже в письмах Надежды Осиповны), или Зуево.
В 1782 году, по свидетельству Осипа Абрамовича, на этом месте «строения никакого не было», кроме одной избы, скотного двора и ветхих амбаров. В конце 1780-х годов здесь выросло сельцо Михайловское (название было дано ещё раньше по названию губы) с господским домом, службами и таким же «ирегулярным парком».