А в августе 1884 г. архимандрит Иустин побывал там, где начиналась его монашеская жизнь. 5 августа этого года П. П. Яковлев сообщал Петру Александровичу Брянчанинову в Бабайки, что о. Иустин «имел счастие сегодня представляться здесь [в Сергиевой пустыни] Его Величеству Государю Императору и их Высочествам Великим Князьям. <…> Подробности сообщит сам».
Все годы, прошедшие со времени прибытия на Бабайки, о. Иустин заботился и о благолепии церковного богослужения в обители. Особое внимание он обращал на исполнение богослужебных песнопений. Еще будучи в Ставрополе, он создал и обучил архиерейский певческий хор, привлекавший громадное число богомольцев. И здесь, в Бабайках, он сформировал из братии монастыря прекрасный хор, сам обучил его и нередко руководил им во время пения в храме, «украшая это пение своим прекрасным голосом, сохранившимся во всей своей силе, мягкости и свежести до конца его жизни».
В своем увлечении духовной музыкой и пением он нашел союзницу в лице настоятельницы Московского Алексеевского монастыря, игумении Антонии Троилиной. Матушка игумения в молодости получила прекрасное музыкальное образование. До поступления в монастырь (в 19 лет) она даже выступала как солистка на фортепиано с большими оркестрами. Поступив в монастырь, она свою любовь к музыке сосредоточила на церковном пении. В Алексеевском монастыре она создала замечательный хор, пригласив для этого опытных учителей пения. При этом сама пробовала голоса и подбирала ноты. Знакомые композиторы присылали ей свои произведения на испытание.
Архимандрит Иустин познакомился с матушкой Антонией в 1877 г., когда приезжал в Москву для сбора средств на строительство Храма. Он также присылал ей ноты своих произведений. Так, с письмом от 17 января 1881 г. он прислал ей партитуру ирмосов три песнца, а от 12 марта 1884 г. — положенный на ноты кондак святому Алексию человеку Божию.
Пение её монастырского хора производило на архимандрита Иустина огромное впечатление. «Милость мира ваше, — писал он ей 21 марта 1877 г. — до сих пор отдается в душе моей». Или {стр. 320} 25 марта 1882 г.: «Сегодня за литургией я вспоминал вас и ваших клирошанок по поводу незабвенного для меня пения у вас — «Милость мира»; помните, когда я служил у вас в Пасху и оне пели эту "Милость мира"». А 22 августа 1888 г. он писал: «Сочувствую Вашей скорби, матушка, в потере такого редкого голоса Вашего хора. В последний раз нашего приезда я слушал этот голос и любовался им, не воображал, что она была больна и столько времени. Жаль её и Ваш хор. В первый день Пасхи у нас отправляется после вечерни так называемая архиерейская панихида, на которой поминают почивших архипастырей, — помянем вкупе с ними и новопреставленную монахиню Вирсавию».
Большой почитательницей архимандрита Иустина и его пения была также знаменитая настоятельница Усть-Медведицкого монастыря области войска Донского, игумения Арсения Себрякова. Как свидетельствует ее жизнеописание, она была так поражена «Аскетическими проповедями» «недавно почившего епископа Игнатия Брянчанинова», что решила познакомиться с семьей его духовной и, будучи в Москве, проехала на Бабайки, где познакомилась с Петром Александровичем Брянчаниновым и о. Иустином. В своих письмах к Петру Александровичу она неоднократно в весьма лестных словах отзывалась об о. Иустине: 10 марта 1871 г. — «Я очень ценю его духовный взгляд»; 22 марта — «Отец архимандрит [Иустин] сказал правду, что не следует вдаваться в богословские вопросы, — это не спасительно, а даже вредно, и тонкое разбирательство их может привести к заблуждению, а правильное к кичению»; 25 марта 1872 г. — «…Отец архимандрит уехал от нас 22-го числа. Много, очень много утешил он меня своим приездом. Чем более я узнаю его, тем более вижу в нем плоды правильного духовного руководства. Моя душа отдыхает в беседе с ним, а его способность к самоотвержению удивляет меня и укрепляет мой слабый дух. При всем, что он имеет доброго, в нем есть еще такой задаток к духовному восхождению, что я не знаю и меры его будущему преуспеянию духовному, если Господу угодно будет продлить его жизнь телесную и духовную. Все это я говорю вам одному — он не любит, когда я ему пророчествую что-нибудь больше сознания греховности своей, но это-то состояние и есть основание, с которого никогда не должна сходить душа, и если потерять его, то не только большего не получишь, но погибнет и путь, ведущий к добру».
Матушка Арсения тоже занималась строительством нового храма во имя Казанской Божией Матери. Закончен он был ле{стр. 321}том 1885 г. и освящен Преосвященным Митрофаном 8 сентября. А 15 сентября архимандрит Иустин освящал придел храма в честь апостолов Петра и Павла. «Гармонический необыкновенно приятный голос отца архимандрита, редкое умение владеть им, а также хорошие голоса его послушников умилили присутствовавших в храме».