Дети подрастали, и семья Гумилёвых перебралась в удобную, просторную квартиру на Невском проспекте в доме 97. Митя был аккуратен и не успевал истрепать свою одежду, но Коля никогда не соглашался за ним что-либо донашивать. А виной всему была неловкая шутка старшего брата. Когда Мите исполнилось десять лет, ему купили новое пальто, а старое, почти новое, Анна Ивановна решила передать Коле. Мите захотелось подшутить над братом, гордецом и задавакой. Он принес ему пальто и небрежно бросил: «На, носи мои обноски!» Коля весь вспыхнул от возмущения, и никакие уговоры матери не могли заставить его надеть злополучное пальто.
Все знали, как Коля не любил занятия в гимназии. Разрядить обстановку неожиданно помог случай. У Мити Гумилёва нашли туберкулез. Родители переполошились, стали консультироваться с врачами. Что делать? Им посоветовали переменить климат, ехать на Кавказ, в Тифлис. Степан Яковлевич срочно продал Поповку, мебель из петербургской квартиры. Гумилёвы стали готовиться к отъезду. Больше других перемене был рад Коля. Но сначала было решено провести лечение кумысом. Первым уехал в Славянск глава семьи. Митя и Коля вместе с Анной Ивановной летом 1900 года отправились впервые не в Поповку, а в деревню Подстепановку, находившуюся неподалеку от Самары, чтобы попить кумыс. Степан Яковлевич знал, какое благотворное влияние оказывает этот напиток на легкие. В семье очень боялись, что и Коля может вслед за братом заболеть. Отец из Славянска, не заезжая за семьей, отправился в Тифлис подыскивать квартиру и работу.
Ближе к осени Степан Яковлевич прислал телеграмму с новым адресом и Анна Ивановна с сыновьями села на пароход, идущий до Астрахани, а потом Каспийским морем добралась до Баку, откуда на поезде уехала в Тифлис. Для Гумилёвых началась новая жизнь. Новые люди, новый город и южная природа.
Степан Яковлевич энергично начал обустраивать быт семьи. Он снял в богатом районе города Сололаках просторную квартиру с электрическим освещением (что по тем временам было редкостью) в доме инженера Мирзоева на Сергиевской улице. В двух подъездах этого дома дежурили швейцары. Дом углом выходил на две живописные, заросшие буйной зеленью улицы. В комнатах стояли старинные печи, отделанные изразцовыми плитками с замысловатыми рисунками.
Степан Яковлевич, чтобы иметь дополнительный заработок, устроился в Российское страховое общество, которое располагалось неподалеку от дома по улице Сергиевской.
Митя Гумилёв пошел в шестой класс 2-й Тифлисской гимназии. Двоечник Коля вынужден был второй раз поступать в четвертый класс, но это его мало огорчало. Он был рад, что попал в необыкновенную обстановку. Тифлис совсем не походил ни на один город, где он бывал или жил раньше. Юный Гумилёв привык к равнинным ландшафтам, а тут — величественные горные пейзажи. Город располагался в котловине, с трех сторон окруженной горами: с запада видны были гора Ишитутрук (Святого Давида), с востока — Махатский хребет, с юга — Сололакский. Вскоре Коля уже знал, что к северу от Тифлиса расположен Кавказский хребет со знаменитой снежной вершиной Эльбрус, горой Казбек, а к северо-западу тянулся Сурамский хребет. В 275 верстах от города высились библейские вершины Арарата. Четырнадцатилетний Гумилёв заслушивался говором быстрой Куры, протекающей среди скалистых берегов. Кто знает, какие песни напевала ему бурная вода знаменитой реки поэтов! Живописны были многочисленные мосты, казалось, скреплявшие разъезжающиеся берега. Михайловский арочный мост называли еще и Воронцовским, так как возле него находилась бронзовая скульптура князя М. С. Воронцова, отлитая петербургским профессором Пименовым и его учеником Крейганом. Один из мостов построил на свои деньги купец Мнацаканов.
Однажды Коле показали большой чугунный крест в предместье Тифлиса Вере, воздвигнутый в 1846 году в память избавления от опасности Государя Николая Павловича. А дело было так. В 1837 году, когда Государь ехал из Тифлиса во Владикавказ, его коляска опрокинулась на крутом спуске в начале Военно-Грузинской дороги, но никто не пострадал. На кресте Гумилёв разглядел изображение всевидящего ока и прочитал надпись: «Живый в помощи Вышняго в крове Бога небесного водворится. 2 октября 1837 г.».
Тифлис состоял из совершенно не похожих друг на друга частей. Гумилёвы жили в новой части, европейской, где тянулись длинные прямые улицы с большими зданиями новейшей архитектуры. Здесь красовался Головинский проспект с административными зданиями, красивыми магазинами. Начинался проспект с Разгонной почты, где стояли почтовые экипажи. Рядом с Разгонной почтой находилось новое здание телеграфа, а на левой стороне — кадетский корпус, об учебе в котором мечтал брат Коли Митя, уже решивший, что станет военным. На правой стороне Головинского проспекта стоял дворец наместника края и Военный собор, заложенный 16 апреля 1870 года в честь окончания Кавказской войны. Головинский проспект был самым красивым и оживленным в городе.