Вскоре после этого случая Литовкины переехали в новый, только что отстроенный дом. Не успели они обжиться, как в их селе случился большой пожар, с которым никак не могли справиться. Огонь перекидывался с дома на дом. Мария Литовкина вывела детей на улицу и с ужасом наблюдала, как огонь неотвратимо подбирается к их дому. Ваня видел испуг матери, бессилие взрослых перед разбушевавшейся стихией. Не зная, как помочь, у кого просить помощи, мальчик протянул руки в сторону сельской церкви во имя Покрова Пресвятой Богородицы и стал просить: «Царица Небесная! Оставь нам наш домик, ведь он совсем новенький!» И случилось чудо. Детская молитва была услышана, и огонь, спаливший почти все село, остановился возле ограды дома Литовкиных.
В одиннадцать лет Ваня остался круглым сиротой. Потеряв мать, мальчик вынужден был сам зарабатывать себе на жизнь. Нелегкая жизнь у сироты, горек его хлеб. Мальчику приходилось жить по чужим углам, браться за любую работу. Он с утра до ночи работал в трактире, бакалейной лавке, терпя унижения и грубость хозяев. Таскал пятипудовые мешки, выполнял черную работу, сопровождал обозы с товаром. Он узнал и нужду, и голод, и скитания, бывал жестоко бит хозяином. Но эта грубая и страшная жизнь не сломила и не озлобила мальчика: молитва стала его защитой, а храм – местом утешения.
Как известно, мир не без добрых людей. Повезло наконец и Ивану. Поступил он на службу к таганрогскому купцу Рафаилову, оценившему трудолюбие и честность юноши. Купец хотел даже выдать за Ивана свою дочь, но сватовство по каким-то причинам не состоялось. Позже, когда он уже был старцем Иосифом, на вопрос, нравился ли ему кто-то, пока он жил в миру, простодушно отвечал: «Да ведь я был близорук и никого не мог хорошо рассмотреть издали, а близко подходить совестился – был застенчив».
Постепенно Иван осознал, что больше всего на свете мечтает о монашеской жизни. Решив проверить себя, он отпросился у купца Рафаилова на богомолье в Киев. Купец отпустил работящего парня с большой неохотой.
По дороге в Киев Иван посетил Борисовскую женскую обитель, в которой жила его сестра Александра, принявшая к тому времени постриг с именем Леонида. Старица Борисовской обители прозорливая Алипия посоветовала юноше посетить старцев Оптиной пустыни. Тут же нашлись и попутчицы. Монахини Белевского монастыря, останавливавшиеся в Борисовской обители, направлялись как раз в Оптину пустынь и взяли Ивана с собой. Когда попутчики добрались до Оптиной, монахини шутя сказали старцу Амвросию, что привезли с собой «брата Ивана». Амвросий вполне серьезно ответил: «Этот брат Иван пригодится и нам, и вам».
Иван попросил старца Амвросия: «Батюшка, благословите в Киев», – на что прозорливый старец дал неожиданный ответ: «Зачем тебе в Киев? Оставайся здесь». Иван поклонился старцу: «Благословите». И 1 марта 1861 года по благословению старца Амвросия Иван был принят в обитель.
По заведенному в Оптиной пустыни обычаю, каждый вновь принятый в обитель должен был пройти послушание в трапезной. Послушание было не из легких, но Иван с детства не боялся никакой черной работы. Во время этого послушания брат Иван укрепил лучшие качества своей души: беспрекословное послушание, трудолюбие, беззлобие. Он легко справлялся с самой трудной работой. Натерпевшийся в миру, он наслаждался покоем и тишиной обители, понимая, что это бесценный дар Божий.
Вскоре он был определен в келейники к старцу Амвросию. Возможность находиться рядом с великим старцем радовала молодого келейника, но бесконечный поток посетителей, жаждавших видеть старца, утомлял. Почувствовав, что лишается душевного покоя, он решил тайком покинуть Оптину и уйти на святую Афонскую гору.
Однажды старец Амвросий подозвал к себе молодого келейника и сказал: «Брат Иван, у нас лучше, чем на Афоне, оставайся с нами». Прозорливость мудрого старца настолько поразила молодого послушника, что более он не помышлял об уходе.
И впредь, прежде чем принять какое-то решение, всегда сначала советовался со старцем Амвросием.
Послушание келейника – трудное послушание, часто ему некогда было отдохнуть. Спать приходилось урывками в приемной, в которой было всегда множество посетителей, а в час ночи уже надо было вставать к утрени. Но испытания только закалили душу послушника. В 1872 году он был пострижен в монахи с именем Иосиф, в 1877 году рукоположен в иеродиакона, а 1 октября 1884 года за литургией в честь торжественного открытия Шамординской женской обители отец Иосиф был рукоположен в иеромонаха. К этому времени он был уже старейшим келейником старца Амвросия.