Вскоре по благословению митрополита Киевского Филарета о. Моисей с Антонием и еще двумя преданными монахами навсегда оставили Рославльские леса и переселились в Оптину.
О. Моисей стал настоятелем обители и принялся за устройство «святая святых» Оптиной — ее скита. Оба брата трудились на его строительстве. О. Антоний наравне с наемными рабочими вырубал вековые сосны и выкорчевывал огромные пни. Из срубленного леса построили первую небольшую келью, соорудили скитскую церковь во имя Иоанна Предтечи, потом стали строить и корпуса для братии.
В 1825 году тридцатилетний о. Антоний, несмотря на то что был еще только в сане иеродиакона (монаха-дьякона), сделался первым скитоначальником Оптиной пустыни.
В скитском братстве не знавали такого смиренного послушника, как молодой скитоначальник о. Антоний, который не делал ни малейшего распоряжения без благословения своего старца и брата о. Моисея. Скитская братия состояла в основном из пожилых монахов «со стажем», и какой же кротостью надо было обладать молодому начальнику, чтобы не допускать ни с кем ни наималейших недоразумений. Он жил точно по слову апостола: «Для немощных был как немощный, чтобы приобресть немощных. Для всех я сделался всем, чтобы спасти по крайней мере некоторых»: (IKop. 9: 22).
Однако ни о. Антоний, ни о. Моисей не брали на себя прямой обязанности старчества. Но, будучи все же сами духоносными старцами, понимали значение его, а потому предоставили самое широкое поле деятельности тем великим старцам, которых они привлекли в скит, — о. Льву и о. Макарию.
Уже упоминалось, что калужский епископ враждебно относился к старчеству и причинил много горя и о. Моисею, и о. Льву. Не избежал гонений и о. Антоний, хотя внешне не старался проявлять своих даров. Пробыв начальником скита 14 лет, о. Антоний получил место настоятеля Малоярославецкого Николаевского монастыря. Ему было крайне тяжело расстаться с созданным его трудами уединенным Оптинским скитом, в котором о. Антония окружала всеобщая любовь, и со своим братом-старцем.
«Однажды, — писал о. Антоний, — был в сильном унынии дух мой. Вздремнувши, вижу в тонком сне лик святых отцов, и один из них, якобы первосвятитель, благословляя меня, сказал: «Ведь ты был в раю, знаешь его, а теперь трудись, молись и не ленись!» И вдруг, проснувшись, ощущаю в себе некое успокоение. Господи, даруй мне конец благой!»
То, что скит при о. Антонии действительно напоминал первозданный рай — об этом существует много свидетельств. Приведем лишь единственное — паломника, бывавшего там в юности.
«Величественный порядок и отражение какой-то неземной красоты во всей скитской обители часто привлекали детское мое сердце к духовному наслаждению, о котором и теперь вспоминаю с благоговением. Простота и смирение в братиях, везде строгий порядок и чистота, изобилие самых разнообразных цветов и благоухание их и вообще чувство присутствия благодати невольно заставляли забывать все, что было вне этой обители. В церкви скитской мне приходилось бывать преимущественно во время обедни. Здесь, уже при самом вступлении, бывало, чувствуешь себя вне мира и превратностей его. С каким умилительным благоговением совершалось священнослужение! И это благоговение отражалось на всех предстоящих до такой степени, что слышался каждый шелест, каждое движение в церкви. Клиросное пение, в котором часто участвовал сам начальник скита о. Антоний, было тихое, стройное и вместе с тем величественное и правильное, подобного которому больше нигде уже не слыхивал, хотя после мне очень часто приходилось слышать самых образованнейших певчих в столицах и известнейших певцов в Европе. В пении скитском слышались кротость, смирение, страх Божий и благоговение молитвенное, между тем как в мирском пении часто отражается мир и его страсти — а это уже обыкновенно! Что же сказать о тех вожделеннейших днях, когда священнодействие совершалось самим начальником скита о. Антонием? В каждом его движении, в каждом слове и возгласе видны были девственность, кротость, благоговение и вместе с тем святое чувство величия…»
К горечи разлуки со своим детищем — скитом добавлялась сильная физическая немощь: на ногах о. Антония открылись глубокие раны — как следствие его подвигов и трудов. В новом монастыре — городском, расположенном при большой дороге — он часто мог давать приказания только лежа. Тем не менее через силу новый игумен заботился о внешнем и внутреннем благоустройстве монастыря по образу лучших русских обителей. Много раз пытался он сложить с себя бремя настоятельства, но калужский епископ был неумолим. 13 лет продолжалось подобное злострадание. Наконец митрополит Московский святитель Филарет вступился за о. Антония и повлиял на калужского епископа, который согласился отпустить его «на покой» в Оптину пустынь.
В 1853 году он возвратился в родной скит и прожил еще 12 лет. «Покой» же его был многотрудный, многоболезненный, но в духовном отношении — многоплодный.