Рано привыкшие к свободе и самостоятельности, объединенные родственным чувством, юные Ивановы вырастали в атмосфере доверия и любви. Вера Михайловна могла с материнской гордостью писать под старость одной из своих дочерей: «Вряд ли во всей Москве найдется семья такая, как наша, где так вольно живется детям». Принцип свободного воспитания, правильно понятый и сердечно примененный, приносил здесь ценные жизненные плоды. Достоевский писал в 1868 году Вере Михайловне: «Кто же милее и дороже мне, как не вы и ваше семейство?… Теперь на детей твоих смотреть — душа радуется. У вас резво, крикливо, шумно — правда; но на всем лежит печать тесной, хорошей, доброй, согласной семьи».
Общество Достоевского составляли теперь и некоторые молодые друзья Ивановых. Здесь гостил племянник писателя, другой сын его сестры Варвары, молодой врач Александр Петрович Карепин, искавший себе идеальную невесту. Над ним изрядно подшучивали, но это был своеобразный и привлекательный человек. Он отличался удивительной памятью и необыкновенной начитанностью, мог произносить экспромтом целые лекции на любые темы, специально выучился испанскому языку, чтоб читать в оригинале своего любимейшего «Дон-Кихота». Это был человек необыкновенной кротости, но не чуждый некоторых странностей или причуд, за что его даже называли «идиотом». Своей кузине Машеньке Ивановой он напоминал диккенсовского Пикквика за наивность и доброту.
Не сыграл ли этот племянник Достоевского некоторую, хотя бы самую скромную, роль в создании князя Мышкина?
Старшие дочери имели дачных соседок — подружек, которые охотно посещали веселый и резвый круг ивановской семьи. Через три-четыре года Достоевский обрисовал эту молодую стаю девушек на фоне люблинского сада в своей повести «Вечный муж», где молодые Захлебинины отчасти списаны с ивановской молодежи.
«Стали выплывать и девицы одна за другой или парами. Но что-то очень уж много явилось девиц — до десяти или до двенадцати, — Вельчанинов и сосчитать не мог». Старшая, Катя, «прелестная особа» с какою-то оригинальною уборкою своих пышных волос напоминает кудрявую Софию Александровну Иванову; младшая сестра восклицает в повести: «Катя-то! Да добрее разве может быть душа, как у ней? Наш общий ангел, я в нее влюблена». Вторая из сестер, Надя Захлебинина, видимо, отчасти воспроизводит Машеньку Иванову: она красивее всех сестер — «маленькая брюнетка с видом дикарки и смелостью нигилиста; вороватый бесенок с огненными глазками, с прелестной улыбкой, хотя часто и злой, с удивительными губками и зубками; тоненькая, стройненькая с зачинавшейся мыслью в горячем выражении лица, в то же время почти совсем еще детского». Но она уже поет романсы под собственный аккомпанемент на фортепьяно. С особенной живостью обрисовал Достоевский бойкую и вострую приятельницу своих племянниц Марию Сергеевну Иванчину-Писареву, «зубоскалку и даже умницу» (в повести она названа Марьей Никитишной). Здесь же Достоевский дал единственный портрет своего пасынка Паши Исаева, вскоре прибывшего к нему из Петербурга и радушно принятого в кругу ивановской молодежи. Обрисовано «красивое, самоуверенно вздернутое лицо», «черные, густые, разбитые космами волосы и большие, смелые, темные глаза».
Вся эта картина беспечной и веселящейся юности так необычна для Достоевского, что, может быть, именно потому она воссоздана им с такой свежестью и поэтичностью. Непривычная среда увлекает писателя и преображает его строгий трудовой режим. Достоевский устраивает с молодежью шутливые инсценировки, например: «Черной шали» Пушкина, суд над своим племянником Карепиным; пишет «оды» и куплеты в честь сверхштатного доктора Павловской больницы и прочее.
«Прогулки обыкновенно заканчивались разными играми в парке, которые затягивались иногда до полуночи, — рассказывает один из учеников А. П. Иванова по Межевому институту, Н. Н. фон Фохт, — Ф. М. Достоевский принимал самое деятельное участие в этих играх и в этом отношении проявлял большую изобретательность. У него однажды даже явилась мысль устроить нечто вроде открытого театра, на котором мы должны были давать импровизированные представления… Словом, он забавлялся с нами, как дитя, находя, быть может, в этом отдых и успокоение после усиленной умственной и душевной работы над своим великим произведением».
Достоевский очень любил музыку, он почти всегда что-нибудь напевал про себя, и это лучше всего обозначало хорошее настроение его духа. В этом отношении вторая дочь А. П. Иванова, Мария Александровна, ученица Московской консерватории, доставляла ему большое удовольствие своею прекрасною игрою. В одном только они расходились: она была большая поклонница Шопена (как и вообще все женщины), между тем как Федор Михайлович не особенно жаловал музыку польского композитора, называя ее «чахоточной». Он превыше всего ставил музыку Моцарта и Бетховена, а из русских композиторов очень любил произведения Глинки и Серова, в особенности оперу последнего «Рогнеда».