Из Петербурга Гумилёвы с детьми отправились в Царское Село по Московско-Виндаво-Рыбинской железной дороге с Царскосельского вокзала. Интересно, что Царскосельская дорога открылась еще в 1837 году и являлась первой железной дорогой в России. Хотя, если быть более точным, первый поезд по ней прошел еще осенью 1836 года от Царского Села до Павловска. Поезд выходил из Петербурга, шел через Обводный канал около церкви Святого Мирония и попадал на пустынную окраину города — Волково Поле, далее мимо Новодевичьего Воскресенского женского монастыря, оставлял за собой платформу военного воздухоплавательного парка, собор Николаевской Чесменской богадельни (богадельня была устроена в бывшем загородном Екатерининском дворце) и через тридцать минут останавливался у двухэтажного здания Царскосельского вокзала. Путешествие было непродолжительным. На площади приезжавших встречали извозчики, предлагавшие за тридцать копеек довезти на любую улицу Села. Гумилёвы отправились на Московскую улицу, 42, где относительно недорого сняли двухэтажный домик. Здесь, как оказалось впоследствии, им суждено было прожить целых девять лет.
Началась тихая, размеренная жизнь. Отец страдал ревматизмом, у него часто случались приступы головной боли, и к старости Степан Яковлевич стал раздражительным. Любил сидеть в большом кожаном кресле в своем кабинете и беседовать с Анной Ивановной. Шурочку забрали из пансиона, и она тоже поселилась в Царском Селе. Митей и Колей занималась нанятая Гумилёвыми бонна.
В эти годы Шурочка подружилась со своей мачехой. Часто вечерами за рукоделием Анна Ивановна слушала рассказы падчерицы. Обе любили книги и, случалось, далеко за полночь зачитывались романами.
В редкие вечера приходили друзья Степана Яковлевича, и начиналась игра в вист. Тогда Анна Ивановна и Шурочка накрывали в гостиной стол.
Когда появлялись свободные деньги, Шурочка и Анна Ивановна накупали сладостей, брали малышей и вели их на карусели. Шурочка любила играть с братьями, читала им сказки X. К. Андерсена.
Анна Ивановна особенно опасалась за здоровье Коленьки: рос он слабеньким, часто падал, и как только начал говорить, выяснилось, что он еще и немножко шепелявит. Не проходили у младшего сына и головные боли, которые доктор Квицинский определил как повышенную деятельность головного мозга. Коленька воспринимал внешние события так ярко и образно, что очень быстро уставал. Даже уличные шумы, звонки пролеток и стуки экипажей утомляли его. Затыкание ушей ватой мало что давало. Эта странная и немного непонятная болезнь продлится у Николая почти до пятнадцати лет и после переходного возраста, как часто бывает у мальчиков, пройдет сама собой.
Но тогда, в раннем возрасте, родители сильно волновались за здоровье ребенка, искали всякую возможность, чтобы закалить и оздоровить мальчика. По мнению Степана Яковлевича и Анны Ивановны, самое благотворное влияние на детей оказывали сельская природа, тишина и уединение.
Степан Яковлевич приобрел в Рязанской губернии небольшое имение Березки, где вся семья проводила летние месяцы. Тут мальчикам предоставлялась полная свобода. Их игры носили порой экзотический характер. Наслушавшись рассказов о дальних странах, Коля представлял себя вождем индейцев и заставлял старшего брата ему подчиняться.
Анна Ивановна читала мальчикам не только сказки, но часто открывала большой том Священной истории, усаживала рядом Митю и Колю, и начиналось постижение вечных истин. Эти чтения оставили глубокий след в сознании будущего поэта. Коля молился иконе Спасителя и в жизни старался придерживаться христианских заповедей.
В детстве Коля был замкнутым и скрытным мальчиком. Но у него была своя бескорыстная привязанность. В доме по выходным дням по приглашению Анны Ивановны появлялась старушка «тетенька Евгения Ивановна». Жила она в местной богадельне и в родственных отношениях ни с кем в семье не состояла, но все ее жалели. Она часто задерживалась в доме до семи вечера, а то и оставалась ночевать. Коля, тайно от взрослых, всю неделю собирал конфеты, а когда появлялась Евгения Ивановна пробирался к старушке и, краснея, вручал ей лакомства. Растроганная до слез тетенька благодарила мальчика, а Коля, жалея ее и желая развлечь, садился играть с гостьей в лото или домино, хотя терпеть не мог эти игры.
Когда Коле пошел пятый год, Степан Яковлевич купил недалеко от столицы по Николаевской железной дороге маленькую усадебку Поповку из-за того, что окружена она была целительным хвойным лесом. Имение состояло из двух домов и флигелька и располагалось в старом запущенном парке с прудом и островом посередине. Гумилёвы привозили сюда детей летом, но потом, когда те стали гимназистами, бывали здесь и во время зимних каникул, когда разлапистые ели, как в сказке, обряжались в пушистые снега.