Одновременно с сооружением в Северо-Западном крае церквей, сюда стали присылать со всех концов России пожертвования церковной утварью, иконами и богослужебными книгами. Пожертвования эти были весьма значительны. По свидетельству «Литовских епархиальных ведомостей», в 1863 году в одну только Литовскую епархию прислано было разных церковных вещей на 60 тысяч рублей74. В то же время сам граф Муравьев позаботился о высылке во все приходы Северо-Западных губерний крестиков для новокрещеных младенцев. «Желая содействовать, - писал он Литовскому митрополиту Иосифу, - восстановлению между здешним православным сельским населением общепринятого издревле во всей России обычая носить на груди и возлагать при крещении на младенцев наперсные кресты, я уже сделал распоряжение о приобретении для сей цели нескольких сот тысяч простых крестиков из меди и латуни, а также о доставлении мне из С.-Петербурга и Москвы 25 тысяч мельхиоровых крестиков»75. В этом деле приняла участие и Государыня Императрица Мария Александровна. Она, со своей стороны, пожаловала в каждый из приходов четырех западных епархий по одному наперсному серебряному кресту, а Великая княгиня Александра Петровна пожертвовала 1000 вызолоченных крестиков. Литовский митрополит Иосиф, тронутый таким сочувствием русского общества к бедному населению Северо-Западного края, предписал духовенству разъяснить прихожанам важное значение этих жертв, как выражающих сочувствие к ним со стороны единоверных и единокровных православных братьев, в том числе самого Государя Императора и всего Царствуюшего дома.
Заботясь о построении православных церквей, граф М. Н. Муравьев всеми средствами старался улучшить и быт православного духовенства, которое всегда стояло на страже православия и русской народности.
Еще до начала открытого восстания в 1861 году поляки начали распространять мятежные воззвания между православными людьми, желая склонить их на свою сторону. Тогда Литовский митрополит Иосиф обратился к духовенству со следующим замечательным наставлением: «Эти воззвания и внушения сколько дерзки, столько же и невежественны. Нам указывают на Польшу, но какое нам дело до Польши? Мы русские, дети бесчисленной русской семьи, потомки Св. Владимира, мы родились в России, присягали на верность Русскому Царю. Нас стращают поляками! Не потому ли, чтобы напомнить нам вековые страдания наших отцов, присоединившихся было доверчиво вместе с Литвой к Польше? Нам указывают на униатскую веру! Как будто была или даже могла быть униатская вера? Не была ли уния лишь коварной приманкой для отклонения отцов наших от России и от искони православной церкви? Не была ли эта несчастная уния орудием тяжких терзаний и гонений в течение трехсот лет, пока мы, потомки гонимых, не обрели, наконец, тихого пристанища на лоне России и своей матери православной церкви». В заключение знаменитый архипастырь внушает православному духовенству блюсти в настоящее время с особенным старанием вверенные ему паствы. И надо отдать справедливость, духовенство с честью исполнило долг пастырей русского православного народа. В «Литовских епархиальных ведомостях» за 1863 год существовал особый отдел: «Страдания православного духовенства Литовской епархии от польских мятежников», из которого видно, что повстанцы разными средствами принуждали священников к присяге своему мнимому правительству, грабили их, подвергали всевозможным унижениям и оскорблениям, а трех достойных пастырей, Прокоповича, Ропацкого и Конопасевича даже повесили, но ни один православный священник во все время восстания не изменил своему долгу.