В 1903 году, за год до окончания Киевской духовной академии, по совету протоиерея Иоанна Кронштадтского, он принял монашество. Затем служил инспектором Вологодской духовной семинарии, позже, в сане архимандрита, — ректором Литовской духовной семинарии и настоятелем Виленского Свято-Троицкого монастыря. В 1912 году стал епископом Слуцким, викарием Минской епархии, в следующем году был переведен в Екатеринославскую епархию викарием и епископом Таганрогским и Приазовским, а в 1917-м — в Тверскую епархию епископом Старицким. В апреле 1918 года хиротонизирован в епископы Пензенские и Саранские, в сентябре и октябре находился под арестом. С октября 1919-го по февраль 1920-го вновь задержан за ожесточенную борьбу с обновленцами, прежде всего с монахом Владимиром, в миру Всеволодом Владимировичем Путятой, который в 1918 году Русской православной церковью был лишён сана епископа и основал в Пензе «Свободную народную церковь», слившуюся в 1922 году с обновленчеством.
В августе 1920 года отец Иоанн был избран на кафедру архиепископа Рижского и всея Латвии. После долгих мытарств и проволочек советская власть всё же дает ему разрешение на выезд из страны. В дальнейшем по ходатайству архиепископа Иоанна Латвийская церковь получила автономию в составе Русской православной церкви. Решение было утверждено 21 июня 1921 года патриархом Тихоном, Священным синодом и Высшим церковным советом.
Прибыв в Ригу, архиепископ Иоанн нашёл латвийскую православную церковь в удручающем состоянии: огромное число приходов — без священников, храмы заброшены, в некоторых даже заколочены двери, церковное имущество растащено, да и само положение Русской православной церкви в новоиспеченном государстве не имело никакого юридического статуса. В 1923 году по инициативе владыки Иоанна состоялся первый Собор латвийской православной церкви, принявший «Устав православной церкви в Латвии», упорядочивший церковную жизнь как административно, так и экономически.
В первые годы пребывания в Латвии архиепископ Иоанн жил в подвале кафедрального собора — в знак протеста против передачи прежней архиерейской резиденции католикам. Однако ничуть не смущался аскетичным видом жилища, а на выражение сочувствия к своему незавидному положению только отшучивался, любовно называя подвал «моя пещера». Здесь и произошла первая встреча архиепископа с регентом.
Вот как о ней вспоминал Жаров: «Огромного роста, стоял перед нами этот популярный защитник русских прав. Его появление произвело на нас большое впечатление. О необычайной силе архиепископа рассказывали разные интересные истории. Говорили, что он один вытащил завязший в грязи автомобиль, который два вола не были в состоянии сдвинуть с места, что в какой-то станице он сам поднял колокол на колокольню, совершив работу, которая была не под силу трем здоровым казакам».
Помимо этого, архиепископ Иоанн слыл тонким знатоком церковного хорового пения. Он рассматривал музыку, не только церковную, но и светскую, как одну из форм, а скорее, как главную форму самосознания нации. Поэтому Жаров был для него знаковой фигурой, представляющей русское национальное самосознание не только в Европе, но и во всем мире.
В 1927 году архиепископ Иоанн активно добивался принятия закона о юридическом статусе православной церкви в Латвии, где закреплялось бы ее право «свободно и открыто проводить в жизнь» православное вероучение, открывать православные школы и организации, действующие в правовом поле и защищенные на государственном уровне, а также создавать православные общества и союзы. При этом владыка Иоанн настаивал, что храмам и православным организациям должны принадлежать права юридических лиц, а также гарантироваться имущественные права. Переговоры с властями шли трудно, однако в конце концов Иоанн добился своего. В этом ему в определенной степени помогла гастрольная поездка Сергея Жарова. Представители власти посетили концерт хора донских казаков и приобщились к русской культуре.
Погиб архиепископ Иоанн в ночь на 12 октября 1934 года при весьма загадочных обстоятельствах: убийство произошло на архиерейской даче на берегу Киш-озера, под Ригой, куда он переехал ввиду ухудшения состояния здоровья. Увы, здесь и суждено было ему принять мученическую кончину — раненый, он сгорел заживо…
По данным следствия, перед убийством священника жестоко пытали, потом смертельно ранили выстрелом в упор и подожгли дом, где тело очень сильно обгорело. Согласно русским эмигрантским газетам, владыка Иоанн стал «одной из жертв безбожного красного интернационала, выбирающего одного за другим из антибольшевистского стана самых опасных своих врагов».
Отпевание состоялось в кафедральном соборе Риги, и на панихиду пришло не менее ста тысяч человек. Стоит отметить, что до приезда отца Иоанна в Латвию в 1922 году православных там насчитывалось 140 тысяч, а в 1935 году их уже было 175 тысяч.