"Когда после шестилетней каторги, — пишет Францева, — Фонвизины были поселены (в Енисейске), то в отдаленном уездном городе неразвитые и грубые уездные власти с высокомерием стали обращаться с ними. Особенной невежественностью отличался непосредственный его начальник некто Т-ов. Все получаемые письма из России доставлялись не иначе, как через него, он их прежде сам прочитывал, а потом уже передавал кому следует. Михаил Александрович должен был ходить за ними к нему, и он не удостаивал даже своеручно их передавать, а только указывал рукой на лежащие на столе письма, тот брал их и уходил. Грубое это обращение продолжалось до приезда из Красноярска губернатора, который, как только приехал, тотчас же посетил сам Фонвизиных, и Михаил Александрович передал ему, как грубо власти обращались с ним. Губернатор пригласил Михаила Александровича на официальный к себе обед, за которым посадил его около себя и большей частью разговаривал во время обеда с ним, что немало изумило властей. Т-ов после отъезда губернатора совершенно изменился в своем обращении с Михаилом Александровичем, и чтобы выказать свое благорасположение, стал зазывать и поить его силой на своих пьяных пирушках. Михаил Александрович перестал бывать у него, но начальник не унимался, желая, вероятно, загладить свое прежнее грубое обращение; зазвав его однажды к себе, велел запереть ворота и не выпустил от себя до самого утра другого дня".
Больная, слабая Наталья Дмитриевна провела ночь в тревоге за мужа: где он? что с ним? жив ли?
Михаил Александрович любил детей. Даже в нежности его к жене был оттенок отцовский. Он привязался, как к родной, к дочери енисейского исправника Францева — Машеньке, которой тогда было шесть лет. Она на всю жизнь сохранила доброе чувство к благородному генералу, ее любовь к Фонвизиным была столь велика, что когда их перевели в Тобольск — ее отец согласился не уезжать из Тобольска, остаться там в должности прокурора, чтобы не разлучаться со своими друзьями и воспитателями его дочери. Марии Дмитриевне Францевой обязаны мы знанием многих страниц жизни декабристов в Сибири и особенно семьи Фонвизиных.
Плохое состояние здоровья Натальи Дмитриевны заставило Ивана Александровича Фонвизина собрать в Москве консилиум из трех известных докторов, которые обсудили все представленные им сведения о заболеваниях Фонвизиной и пришли к выводу, что дальнейшая жизнь в северных широтах может убить их заочную пациентку.
Только после этого, в марте 1835 года Фонвизиным разрешено было переехать в Красноярск, а еще через три года — в Тобольск.
"Мы приехали в Тобольск, — вспоминала Наталья Дмитриевна в письме к протоиерею Стефану Знаменскому. — И приехали в ночь, в грязь, слякоть, и выехали с горы, и въехали в темный, унылый и низкий дом, который и на тебя произвел такое тягостное впечатление в последний твой приезд…"
В Тобольске у Фонвизиных значительно расширился круг общения — здесь жил Александр Муравьев с женой, они перебрались в Тобольск после смерти Никиты, здесь находились на поселении Анненковы, здесь бывали проездом знакомые из Петербурга и Москвы, с которыми удавалось обмолвиться словечком о делах столичных, о друзьях и близких, обо всем, что теперь было так далеко и невозвратно. Жили они скромно, но были радушными и гостеприимными хозяевами. Наталья Дмитриевна любила угощать, но столом всегда занимался Михаил Александрович — он был искуснейший кулинар, знал способы приготовления такого количества разнообразных блюд, что повар, поступая к ним в услужение, поначалу ходил у генерала в учениках.
Когда переехали в Тобольск Францевы, в доме Фонвизиных стало теплее; Машенька к тому времени была уже почти барышней, каждый свободный час проводила она в беседах с генералом, который стал ее наставником, и в загородных прогулках с Натальей Дмитриевной. Был у Фонвизиных еще один воспитанник. "Подружившись, — вспоминает Францева, — с тобольским протоиереем, Степаном Яковлевичем Знаменским, очень почтенным и почти святой жизни человеком, обремененным большой семьей, они взяли у него на воспитание одного из сыновей, Николая, который жил у них, продолжая ученье свое в семинарии. По окончании же курса, они доставляли ему возможность пройти в казанской духовной академии курс высшего образования… Затем они воспитывали еще двух девочек, которых потом привезли с собою в Россию и выдали замуж".
Известный сибирский художник Михаил Знаменский вспоминает о Фонвизиных:
"С того времени, как я начал помнить себя, и до 23 лет я был с ними. И если теперь подлость, низость и взятки болезненно действуют на меня, то этим я обязан лицам, о которых всегда говорю с почтением и любовью.
Мы жили тогда бедно, и Фонвизины старались помочь нам, чем могли. Помню, в это время отца перевели на службу в город Ялуторовск. Отцу не хотелось отрывать моего старшего брата Колю от наладившегося уже учения. Тогда Фонвизины предложили отцу взять Колю к себе на воспитание. Отец согласился.