В 1882 году открылся Дом трудолюбия – в 4 этажа, прекрасно оборудованный, с домовой церковью во имя святого Александра Невского. Здесь были устроены мастерские, в которых работали в течение года до 25 тысяч человек, женские мастерские, школа на 300 детей, детский сад, загородный летний дом для детей, сиротский приют, бесплатное призрение бедных женщин, народная столовая с небольшой платой и благотворительными обедами в праздники, огороды для снабжения живущих и работающих, библиотека, бесплатная лечебница, воскресная школа и многое другое. В 1888 году заботами и трудами отца Иоанна был построен ночлежный дом, а в 1891 году странноприимный дом. Помощь оказывалась всем нуждающимся, независимо от их социальной и религиозной принадлежности. Дом трудолюбия в Кронштадте стал образцом для учреждения таких же домов в столице и во многих провинциальных городах.
18 декабря 1902 года отец Иоанн записал: «Благодарю Господа за редкость освящения моего великолепного храма, который Он для меня устроил и украсил в столице России Петербурге, – Иоанновский женский монастырь на Карповке». Отец Иоанн основал и устроил Воронцовско-Благовещенский женский монастырь в Псковской епархии; Леушинский женский монастырь городской епархии (Череповецкий уезд) с подворьем в Петербурге – храмом в честь святого апостола Иоанна Богослова; Вауловский скит в Ярославской губернии около Рыбинска и ряд храмов в различных уголках России.
Люди, приходившие в Кронштадт, зная о благотворительной деятельности отца Иоанна, жертвовали ему очень много. Многие, желая сделать что-нибудь доброе, стремились к тому, чтобы довершить начатое руками щедрого пастыря дело, который, по мере необходимости, распределял эти средства бедным и нуждающимся. Многие жертвовали, посылая денежные переводы почтой.
Отец Иоанн получал огромное количество писем. Почта давала справку, что в один день на его адрес приходило более тысячи писем и денежных переводов. Эти суммы отсылались по адресам нуждающимся. Благотворительная деятельность отца Иоанна исчислялась миллионами рублей в год. Люди выражали любовь к отцу Иоанну в различных подарках, которые нередко тоже шли на нужды бедняков; в Кронштадтском Доме трудолюбия хранилось около 40 риз стоимостью до 1 тысячи рублей, иконы, митры, хоругви; дарили дома, пароходы и другую недвижимость.
Отец Иоанн говорил: «У меня своих денег нет. Мне жертвуют, и я жертвую. Я даже часто не знаю, кто и откуда прислал мне то или другое пожертвование. Потому и я жертвую туда, где есть нужда и где эти деньги могут принести пользу». Говорили, что «каждый день отец Иоанн ложился без копейки в кармане, несмотря на то, что на другой день только для поддержания различных благотворительных учреждений ему нужно было более 1 тысячи рублей. И не было случая, чтобы этот другой день обманывал его». Он прожил 53 года в одной квартире и не искал лучшей обстановки.
К отцу Иоанну приходили с верой в помощь Божию и, помолившись вместе с ним, исцелялись.
Когда отец Иоанн молился, всем казалось, что он видит перед собой Бога и дерзновенно говорит с Ним. Он умолял, упрашивал и даже как бы настаивал, словно, схватившись за ризу Христову, был готов не выпускать ее из рук до тех пор, пока не будет услышан. Он вопиял, как некогда та жена хананейская, о которой воскликнул Христос: «О, жено, велия вера твоя, буди тебе яко же хощеши!» (Мф. 15, 28). По его молитвам стали происходить чудотворения, и слухи о них распространялись в Кронштадте и Петербурге; около 1879 года их стали публиковать и обсуждать в печати. «Санкт-Петербургские ведомости», «Кронштадтский вестник», «Петербургский листок», «Странник», «Душеполезное чтение» и многие другие журналы помещали тысячи описаний чудесных случаев пастырской деятельности отца Иоанна.