После переезда Льва Алексеевича жизнь во владении Яковлева как-то погрустнела и замерла. Не было волшебных праздников и уморительных забав, которые без устали устраивал любимец Шушки, камердинер Сенатора — добрейший Карл Иванович Кало. Обе нянюшки — мадам Прово, учившая его немецкому, и завзятая рассказчица Вера Артамоновна теперь не привлекали внимания живого, любознательного подростка. С ними ему стало скучно. Другое дело — девичья и передняя, где вечно толпилось множество всякого люда — горничные, прачки, мальчишки с девчонками, которых, как вскоре ему открылось, «приучали к службе, то есть к праздности, лени, лганью и к употреблению сивухи». Эти оазисы человеческих индивидуальностей виделись ему сущим раем. В доме, где всё трепетало перед дергерром, предоставленный себе Шушка чувствовал себя весело, свободно, раскованно: знал все тайны дворовых, «судил и рядил», держал сторону одной партии против другой и никогда никого не выдал, не проболтался.
Крепостные его любили. «Прислуга чрезвычайно привязывается к детям, — подметит позже Герцен, — и это вовсе не рабская привязанность, это взаимная любовь
Многочисленную дворню в доме Яковлева физически особенно не притесняли, но бесконечные мелочные придирки, капризы и нравственные поучения хозяина били подчас больнее, чем розги на конюшне. Русский человек вообще не любит, чтобы его учили. Телесные наказания были редкостью. Но вот страшных сцен, когда дворовых забривали в солдаты, когда ломались их жизни, юному барчуку не избежать: «Я довольно нагляделся, как страшное сознание крепостного состояния убивает, отравляет существование дворовых, как оно гнетет, одуряет их душу». Долгие годы не умолкал в его памяти отчаянный вопль крепостного Толочанова, принявшего яд в безысходный момент своей рабской судьбы: «Жжет! Жжет! Огонь!»
Историю эту, каких немало было в России, о несвободном человеке, возмечтавшем о свободе, и «плантаторах», хозяевах, не желавших снять со своих рабов «веревку крепостного состояния», хорошо запомнил будущий мемуарист. С годами у него накапливались «факты для изучения человеческого сердца», возникали образы — жертв и страдальцев, дилетантов и «фанатиков рабства», особой домашней породы слуг, «бессознательно втянувшихся в поэзию передней» (подобно их домашнему лакею Бакаю) и до глубокой старости воображавших, «что положение лакея одно из самых значительных». Передняя тем не менее «не сделала никакого действительно дурного влияния» на Шушку, но вот «непреодолимая ненависть ко всякому рабству и всякому произволу» осталась навсегда.
«Бывало, когда я еще был ребенком, — вспоминал он в „Былом и думах“, — Вера Артамоновна, желая меня сильно обидеть за какую-нибудь шалость, говаривала мне: „Дайте срок, — вырастете, такой же барин будете, как другие“. Меня это ужасно оскорбляло. Старушка может быть довольна:
Панорама разнополярной жизни, какой она виделась Шушке в ребячестве, была бы не полна, если бы не раскинувшееся перед ним бескрайнее раздолье русской природы. Почти ритуальные выезды в имения отца Покровское и Васильевское: бесконечные сборы пожитков и несметных съестных припасов, жесткие приказы старосты — прислать крестьянских лошадей для барского кортежа (и это в самую горячую рабочую пору!) — еще не воспринимались мальчиком как тягостная повинность для крестьян. Для него «деревня была временем воскресения», он не раз признавался, как страстно любил эту жизнь на просторе природы. Она приносила ему, затворнику в каменных стенах городского дома, откуда за ворота ни ногой, свободу вырваться «на волю вольную», в поля и леса. К глубокой горести Шушки, отец не каждый год поспевал собраться раньше июля, а то и вовсе отменял поездку, хотя «всякий раз говорил, что… уедет рано, что ему хочется видеть, как распускается лист». Весьма поэтические и прочие экстравагантные чудачества Ивана Алексеевича запомнились будущему писателю и не могли не всплыть в памяти. Да и сам одиннадцатилетний юнец овладевал пером, сочиняя свои первые письма, приправленные фантазией, заимствованной из сказок. В описаниях деревенского лета 1823 года, проведенного в имении, уже проглядывают его несомненные литературные наклонности: «Покровское стоит среди дремучего леса; деревья в нем так часты и высоки, что, пройдя несколько шагов, не знаешь, куда выйдешь. В лесу этом живет много волков; лес так близко подходит к дому, что я хожу туда с книгой, ложусь под дерево и читаю; волки бегают мимо меня».
«Мы поместились в старом, полуразвалившемся доме. Подле него дикий, запущенный сад; дорожки в нем заросли лопушником и крапивой; вершины берез покрыты вороньими гнездами; вечерами они с криком прилетают в сад и садятся на деревья».