16 июня 1821 года рославльские отшельники, все, кроме старцев Афанасия и Досифея, отложивших свое перемещение, прибыли в Оптину и начали труды по устроению Скита, следуя плану, утвержденному владыкой Филаретом. Расчищался участок бора близ пасеки и келлии покойного отца Иоанникия. Козельский купец Д. В. Брюзгин пожертвовал 1500 рублей на строительство, что позволило нанять работников – пилить лес, корчевать пни, а потом строить келлии и храм. Вместе с рабочими трудились и пятеро рославльских отшельников, среди них братья – иноки Моисей и Антоний (Путиловы). Схимонах Вассиан, пожелавший присоединиться к их житию, также брался за всякую работу, не жалея сил. Скит был обнесен оградой, а в феврале 1822 года совершено было и освящение храма. Владыка Филарет особенным указом установил для скитян некоторые правила: «Женскому полу возбранить вход; мирских лиц допускать лишь по разрешению старца; не рубить леса вокруг Скита, дабы навсегда он был закрыт». Первым скитоначальником стал о. Моисей. А с 1825 года и в течение четырнадцати лет эту должность занимал его брат о. Антоний. Братия начала постепенно умножаться – Скит принимал все более благообразный вид.
В 1829 году прибыл в Скит и поселился в келлии на пасеке старец Леонид (в схиме Лев). Там находился тогда и послушник Димитрий (в постриге Игнатий, потом святитель, епископ Кавказский и Черноморский), который позднее писал об этом времени: «Когда прибыл туда старец иеросхимонах Леонид с несколькими учениками своими и настоятель предал ему Скит в духовное управление – тогда Скит начал населяться… Число жившей в нем братии простиралось до тридцати человек». Другой Игнатий, иеросхимонах, поселившийся в Скиту в 1830 году, сообщает, что там был установлен следующий распорядок: «Утреннее правило начиналось в 2 часа. Читали полунощницу, а перед ней утренние молитвы, затем 12 псалмов, поучение из Пролога и Первый час. Братия расходилась затем по келлиям. В 6 часов становились в келлиях на правило – читать 3 и 6 часы, главу из Евангелия и две главы из Апостола. После сего шли на послушание… Все скитяне составляли тогда одну духовную семью – мир и любовь царствовали в ней. Все отличались глубоким смирением, каждый старался превзойти другого в этом отношении. Даже взглядом боялись друг друга оскорбить, испрашивая прощения при малейшем оскорблении брата. Все сохраняли безмолвие. По келлиям друг к другу не ходили… Чай пили только по праздничным дням, субботам и воскресеньям. Собирались для сего у старца Льва на пасеке, самоваров братия по келлиям не держали… На откровение помыслов вся братия ходила ежедневно к о. Льву на пасеку после вечерней трапезы и у него же в келлии выслушивали молитвы на сон грядущим». В 1834 году прибыл в Скит из Площанской пустыни ученик старца Льва иеромонах Макарий, будущий его преемник.
В то время в быту почти не было разницы между простым монахом и скитоначальником. Был у о. Антония келейник, но у этого келейника было еще много и других послушаний – и привратник, и садовник, и он же хлебопек. «Как самый бедный бобыль, – писал о. Антоний в 1832 году, – живу в келлии един: сам и по воду, сам и по дрова… Чином священства почтенных теперь у нас в Скиту собралось пять человек, но все они престарелы и многонемощны почему и тяготу служения за всех несу один». Мало того – о. Антоний, скитоначальник, учредитель неусыпаемого чтения Псалтири, сам же и читал ее днем два часа и ночью столько же. А жил он в маленькой келлийке при храме, где потом обитали пономари. С середины 1830-х годов у него начали болеть ноги – этот крест он нес до конца жизни с неизменным благодушием, в трудах, молитве, чтении Священного Писания и Отеческих книг.
В октябре 1827 года поселился в Скиту один из старцев, подвизавшихся в пустыне в Рославльских лесах, – отец Досифей, которому тогда было семьдесят четыре года (из них пятьдесят он провел в монашестве). Прожил он в новоустроенном Скиту под началом своих бывших учеников – настоятеля монастыря о. Моисея и скитоначальника о. Антония – год с небольшим и скончался 22 декабря 1828 года.
Монах Сергий, сельский пономарь, был двоюродным братом пустынника схимонаха Иоанникия, жившего возле пруда на пасеке, в последнее время с двумя учениками – монахами Мисаилом и Феофаном. Здесь и поселился о. Сергий спустя десять лет после кончины о. Иоанникия, последовавшей в 1815 году. Всего пять с половиной лет подвизался он в иноческом житии – ухаживал за пчелами, пел и читал в храме, во всем стараясь подражать подвижническому житию своего приснопамятного брата. Около года прожил он на пасеке при старце Льве и скончался шестидесяти пяти лет в сентябре 1830 года.