Иван остался доволен приездом брата, познакомил его с некоторыми служебными учреждениями, с оригинальными лицами, и Константин признал даже определенную важность практических вопросов. С тем и уехал Константин Сергеевич, снова ждал его родительский кров, полная свобода от житейских забот и условностей общества, где он, размахивая руками, готов был до ночи доказывать свое и где принимался теми, кого он сам называл «публикой», за что-то вроде индейского перца для приправы надоевших ежедневных блюд. А Ивана ждала чиновничья лямка, все та же «бивачная жизнь», пока не случилась одна история, положившая конец двухлетнему пребыванию его в Ярославской губернии. Третьему отделению собственной Его Императорского Величества канцелярии стало известно, что Иван Аксаков читает в обществе какую-то поэму «предосудительного содержания» под названием «Бродяга». Об этом было сообщено министру внутренних дел графу Л. А. Перовскому, в ведомстве которого служил Иван Аксаков. По официальному предписанию графа автор представил ему «Бродягу». Хотя министр и не обнаружил ничего предосудительного в содержании поэмы, но нашел неуместным заниматься сочинительством человеку, посвятившему себя службе и облеченному доверием начальства. Иван Сергеевич оценил замечание министра как оскорбительное для своего достоинства, в письме к нему он с некоторым вызовом разъяснил: «Не только правом, но и обязанностью своей считаю объяснить Вашему сиятельству, что не служба терпит от моих литературных занятий, а литературные занятия, нравственное и умственное образование мое принесено в жертву службе». Молодой чиновник объявил министру, что он не может оставить авторских занятий, которые если и не имеют особенного литературного достоинства, зато важны для него как единственный способ освежения его утомленных службой нравственных сил, и представил просьбу об отставке. Впрочем, вскоре же Иван Сергеевич раскаялся в своей горячности, написал письмо Л. А. Перовскому, где признался в «неуместной запальчивости» и выразил готовность служить под началом графа, но дело так и кончилось отставкой.
После отставки поначалу выходило, что все складывается как будто к лучшему: ведь и служил он, и странствовал, и бивачничал не из одной только охоты к этому, все это было приготовлением к главной цели, которая всегда, даже подспудно жила в нем и указывала ему будущее — к его литературно-общественной деятельности. И вот после девятилетней службы в разных городах России выдалось дело, касавшееся, кажется, его истинного призвания. В 1852 году он начал издание «Московского сборника», но вышел только первый том, второй том и дальнейшее издание сборника были запрещены за участие в нем славянофилов, взгляды которых по крестьянскому вопросу были восприняты цензурой как оппозиционные. Так неудачей окончились первые шаги Ивана Сергеевича на поприще издателя. Видно, не пришел еще его час, его срок, еще впереди была пора издательской и публицистической деятельности, которая поставит имя Ивана Аксакова в первый ряд деятелей русской общественной мысли и вызовет такой резонанс в России и в Европе.
Испытывая в себе зов глубоко засевшего в душу «бродяжнического элемента», Иван Сергеевич решил было отправиться на три года в кругосветное плавание на военном фрегате, что привело в ужас семью. Сергей Тимофеевич, не менее всех других обеспокоенный затеей Ивана, издалека, пользуясь своим отцовским чутьем к интересам и психологии сына, апеллировал к его разуму, как будто и не отговаривая прямо, а на самом деле заклиная оставить мысль о кругосветном путешествии: конечно, понятна заманчивая сторона этой затеи, но ведь его же ждет корабельная тюрьма, которая тем невыносимее будет для Ивана, что он не может жить без дела постоянного, животрепещущего; он, отец, уже не говорит о том, какому беспрерывному беспокойству подвергнет Иван все семейство.
Вместо кругосветного плавания пустился Иван опять кочевать по степным дорогам. По поручению Географического общества отправился он в Малороссию для обозрения и описания украинских ярмарок. Кроме практической цели, была и художественная сторона этого путешествия: Иван Сергеевич чувствовал себя пленником той прелести и обаяния, которыми уже в прежние поездки обдавала его Малороссия, и теперь совсем должна была покорить его — и самим видом «сел с белыми хатами, живописно разбросанными по холмам и долинам, с плетнями, сдерживающими густую зелень; и тянущимися по дороге возами с волами, рядом с которыми тяжелой, медленно ленивой поступью бредут чумаки; и южными ночами, в особенности безлунными, когда не спится и не знаешь, как бы полнее вместить в себя эту волнующую красоту, эту роскошь темного неба с ярко горящими звездами; и живыми, милыми лицами хохлушек; и очаровательными песнями, которые показывают высокое душевное образование в народе». Не раз, весь во власти малороссийской природы, думал он, как сильно будет тосковать по ней в Москве, особенно по южному лету.