Неказистый, но просторный одноэтажный господский дом едва вмещал многочисленное семейство младшего Ганнибала. Позднее пришлось построить второй дом неподалёку, в деревне Челово, которая получила наименование Приселок.
Главные заботы по дому и, пожалуй, по имению вообще лежали на Анне Андреевне.
Исаак Абрамович после выхода в отставку с морской службы, постоянно живя в Воскресенском, занимался делами по своей должности обер-форстмейстера и одновременно затевал различные коммерческие предприятия. Но, судя по всему, для коммерции он не обладал необходимыми свойствами, часто, подобно Осипу Абрамовичу, бывал легкомыслен, легковерен, и это приводило к неудачам, долгам, иногда столь значительным, что он оказывался «под караулом» и в «городской тюрьме». В 1790 году, например, он взял подряд на содержание в городе Опочке и уезде питейных домов. В записках Опочецкого провинциального секретаря Л. А. Травина мы читаем: «По наступлении 1790 году, артиллерии капитан Исаак Абрамович Ганнибал вступил в содержание в Опочке и в уезде питейных домов, то для приезду его, а паче ко учреждению конторы, он у меня сторговал [дом) за пятьсот рублев; …от него ж, господина Ганнибала, получил я в уплату двести пятьдесят рублей, а после от поверенного его, торопчанина Ивана Поросенкова, в разные числа отобрал сто пятьдесят, всего четыреста рублей; крепости ж на оной дом за их нерачением было не совершено; между тем, содержание их уничтожилось, и дом Ганнибалу стал не надобен, то он со своей стороны уступил через письмо купцу Алексею или Семёну Горожанским…»[40] Убытки, связанные с приобретением и затем продажей оказавшегося ненужным дома в Опочке были, несомненно, лишь незначительной частью тех убытков, которые понёс Исаак Абрамович в этой авантюре. В том же 1790 году ему пришлось заложить своё имение.
Самые большие неприятности ему причинила и поставила на грань полного разорения всё та же Устинья Толстая, с которой он свёл знакомство, разумеется, через Осипа Абрамовича. Воспользовавшись его непрактичностью и легковерием, эта ловкая особа сумела втянуть его в сомнительные денежные махинации. На основании какой-то договорённости Толстая дала некоей подпоручице Крыгеровой вексель на 8500 рублей за Исаака Абрамовича, а с него взяла расписку, что он обязуется по этому векселю уплатить. В то же время она якобы ещё давала младшему Ганнибалу крупные суммы взаймы наличными. Исаак Абрамович в срок по векселю не уплатил и долга не вернул, в результате чего, по словам Толстой, её, как заёмщицу, даже брали под стражу и продали с публичных торгов часть принадлежащего ей родового имения. Маловероятно, что заверения Устиньи Ермолаевны соответствуют действительности и Исаак Абрамович называемые ею суммы полностью получил. В её честность и бескорыстность поверить трудно. Всё это очень смахивает на аферу, вроде той, которую Устинья Толстая учинила с Осипом Абрамовичем. Тот же «почерк», тот же метод вымогательства обманным путём.
Ещё одно убедительное свидетельство того, что главной пружиной всех печальных приключений Осипа Абрамовича была эта хитрая, корыстолюбивая, склонная к аферам женщина.
Толстая подала на Исаака Абрамовича в суд, а 10 февраля 1796 года обратилась с челобитной на «высочайшее имя», где клялась в «приверженности» ко всей фамилии Ганнибалов и в то же время самым решительным образом формулировала свои требования: «заплати господин Ганнибал по векселю, за него мною данному подпорутчицы Крыгеровой, возврати проданное моё родовое за оный долг имение и отдай мне один настоящий по векселю и по обязательству его капитал». Когда эта челобитная была «оставлена без рассмотрения», Толстая с обычной своей хваткой снова обратилась в судебные инстанции Пскова и Петербурга. Сначала ей было отказано, но она сумела добиться пересмотра дела, и оно решилось в её пользу. Исаак Абрамович попал в крайне затруднительное положение. Его арестовали и «яко совершенного преступника» под караулом препроводили в столицу, где некоторое время держали в арестантской.
В течение 1798—1803 годов, пока тянулось дело, он неоднократно обращался с прошениями к генерал-прокурору князю А. Б. Куракину, министру юстиции Г. Р. Державину и на «высочайшее имя».