Дела у многих жителей пошатнулись из-за неурожая и общего экономического спада. Таганрог терял былое торговое значение. У Павла Егоровича всё складывалось хуже некуда. В феврале, в письме Александру, он наконец обрисовал положение: «Торгуем очень скверно, в Городе окончательно нет делов, хоть бы нам поскорее выбраться из этого оставленного Богом Таганрога. <…> Со временем ты должен подумать о нас и о братьях <…> денег нет, пришли в крайнее положение, что с нами будет Бог весть. <…> Что я буду делать? Смелости у меня нет. Чем другим заняться? Я не знаю никакого ремесла. Одно бесславие о несостоятельности приводит в отчаяние. Дом возьмут, движимость продадут за долги, которых на мне состоит 8000 р. <…> Пиши, мы всю жизнь положили за вас. Доброжелательный твой отец
Растерянность главы семейства проявлялась даже в многочисленных ошибках, с какими изложено это признание. Весной 1876 года подрядчик Миронов опротестовал вексель Павла Егоровича на 1000 рублей и подал к взысканию в Коммерческий суд. Подходил срок выплаты по другим векселям. Бывшему купцу грозила долговая тюрьма, в просторечии «яма». Несостоятельных должников, мужчин не старше 70 лет, сажали в эту тюрьму до тех пор, пока они не вносили долг.
Что делать? Оставаться в Таганроге? Это означало бы, покоряясь судьбе, ждать, когда дом пойдет с молотка, оказаться со всеми чадами и домочадцами на улице, забирать детей из гимназии и прозябать в полной нищете и позоре. Для бывшего члена торговой депутации, бывшего регента, человека с серебряной медалью на Станиславской ленте подобное было неприемлемо. Вероятно, Павел Егорович воспользовался советом своего жильца Селиванова, служившего в Коммерческом суде. Он, видимо, предложил некую сделку: куплю-продажу заложенного дома за небольшую сумму, а потом-де он продаст дом, как можно выгоднее, и отдаст разницу. И потому, мол, владельцу дома лучше исчезнуть из города.
Такой уговор устраивал обе стороны. Павел Егорович не решал вопросы с долгами, домом, обеспечением семьи, а просто убегал от них — от долгов, от семьи. Так ему, наверно, показалось проще, удобнее. Но кто-то должен был остаться за старшего? Кому-то надлежало после отъезда главы семейства заботиться о Евгении Яковлевне, о тринадцатилетней Маше и десятилетнем Мише. Встречаться с судебными исполнителями, если бы они нагрянули в дом, объясняться с кредиторами, когда они начнут спрашивать, где должник. В ум и деловые свойства жены Павел Егорович не верил. Ее удел — плакать, стенать, молить о помощи, управляться с домашним хозяйством. Не Иван же? Неровный, то замкнутый, то взбудораженный, всегда словно чем-то напуганный или чего-то опасающийся, он сам нуждался в поддержке.
Оставался только один человек. Ему и предстояло решать все вопросы, кроме долговых обязательств отца, который в конце апреля 1876 года навсегда покинул Таганрог и тайно уехал в Москву, к старшим сыновьям. Теперь оттуда, в каждом письме следовали приказы, наставления: «Прикажи Антоше…»; — «Это Антоша должен обо всем ведать и узнавать секретно»; — «Антоша пусть сходит»; — «Пускай Антоша поищет»; — «Антоша отнесет». Отец возложил на среднего сына ответственность не только за брошенное хозяйство, но и за судьбу матери: «Антоша, береги Мамашу, если что случится, ты будешь отвечать…»
В первых посланиях к оставшимся в Таганроге детям отец семейства еще пытался сохранить роль учителя: «Читайте нравственные книги, не увлекайтесь пустяшными, развращающими книгами, не забивайте свои головы навозом, мусором и всякой дрянью. Читайте истории великих деятелей и держитесь духовно-нравственных книг». Однако наставничество уже вытеснялось хозяйственными распоряжениями жене и сыну Антону: спасти имущество от описи, а для этого спрятать его у родных; получить мелкие суммы с должников; найти жильцов, а может быть, и покупателей на дом, но лишь за определенную цену.
На что жить? И тут следовало указание: на деньги от продажи имущества и от уроков, которые сын Антон должен найти как можно скорее и как можно больше и подороже. Евгения Яковлевна уже не роптала, а настоятельно просила мужа: «Бери нас скорей, а то так можно скоро с ума сойти <…> ума не приложу что делать».