Когда страшные вести дошли до монастыря, Филарет в первые минуты ощутил как будто облегчение. Голод — конец царствию Годунова. Но скоро он понял, что для Годунова народная беда станет поводом прославить себя благотворительностью. Так оно и случилось. Благотворительность царя была неумелой, раздачей денег на голодающих воспользовались ловкие люди, а бедным досталась лишь малая толика, которая не спасла их от голодной смерти. В одной Москве погибло от голода пятьсот тысяч человек. Хоронить было некому. Началось моровое поветрие, холера. К этому добавился ещё ужас перед разбоями. В разбойники уходили и те из мирных жителей, что надеялись прокормиться за счёт других. Москве угрожало организованное насилие. Разбойничьи шайки сколотились в настоящие войска под водительством Хлопко Косолапа. Царь вынужден был послать против него воеводу Ивана Басманова. Разбойников удалось разбить ценой больших потерь, погиб и сам Басманов, а уцелевшие шайки удалились в Северскую землю, чтобы в недалёком будущем влиться в отряды Лжедимитрия I.
С наступлением зимы многие важные вести доходили до Филарета с опозданием либо вовсе не доходили. Филарет переживал мучительную тревогу о жене и детях. Он даже не знал, в какой край их сослали, и часто вёл с Малым тайные беседы, как разузнать о судьбе своей семьи. Сохранилось свидетельство пристава, позволяющее представить личные тревоги Филарета тех дней: «Велел я сыну боярскому Болтину расспрашивать Малого, который живёт в келье у твоего государева изменника, и Малой сказывал: «Со мною ничего не разговаривает; только когда жену вспомянет и детей, то говорит: «Малые мои детки! Маленькие бедные остались, кому их кормить и поить? Так ли им теперь, как при мне было? А жена моя бедная! Жива ли уже? Чай, она туда завезена, куда и слух никакой не зайдёт? Мне уж что надобно? Беда на меня жена да дети: как их вспомнишь, так точно рогатиной в сердце толкает; много они мне мешают: дай, Господи, слышать, чтоб их ранее Бог прибрал, я бы тому обрадовался. И жена, чай, тому рада, чтоб им Бог дал смерть, а мне бы уже не мешали, я бы стал промышлять одною своею душою; а братья уже все, дал Бог, на своих ногах».
Но «промышлять душой» Филарет тоже был не волен. Заключённый в своей келье, словно в тюрьме, он находился во власти приставленного к нему монаха Иринарха и вёл с ним постоянную ожесточённую войну. Пока Малой был при Филарете, в его жизни была отдушина. Но однажды Малой ушёл и не вернулся. Вскоре его нашли убитым. Иринарх угрожал и самому Филарету:
— На всех государствах казнят людей, поправших образ земного царя.
Филарет прогнал Иринарха от себя и сказал, чтобы впредь не заходил в его келью самовольно. Но в другой раз он застал Иринарха, обыскивающего его личные вещи, и, накинувшись на него с посохом, едва не прибил.
Тем временем царь Борис, досконально осведомлённый о жизни опального боярина, писал игумену Ионе: «Писал к нам Богдан Воейков, что рассказывали ему старец Иринарх и старец Леонид: 3 февраля ночью старец Филарет старца Иринарха бранил, с посохом к нему прискакивал, из кельи его выслал вон и в келью ему к себе и за собою ходить никуда не велел; а живёт старец Филарет не по монастырскому чину, всегда смеётся неведомо чему и говорит про мирское житьё, про птиц ловчих и про собак, как он в мире жил, и к старцам жесток, старцы приходят к Воейкову на старца Филарета всегда с жалобою, бранит он их, и бить хочет, и говорит им: «Увидите, каков я вперёд буду!» Нынешним Великим постом у отца духовного старец Филарет не был, в церковь не приходил и на крыл осе не стоит. И ты бы старцу Филарету велел жить с собою в келье, да у него велел жить старцу Леониду, и к церкви старцу Филарету велел ходить вместе с собою да за ним старцу, от дурна его унимал и разговаривал, а бесчестья ему никакого не делал. А на которого он старца бьёт челом, и ты бы тому старцу жить у него не велел. Ежели ограда около монастыря худа, то ты велел бы ограду поделать, без ограды монастырю быть негоже, и между кельями двери заделать. А которые люди станут к тебе приходить, и ты бы им велел приходить в переднюю келью, а старец бы в то время был в комнате или в чулане; а незнакомых людей ты бы к себе не пускал, и нигде бы старец Филарет с прихожими людьми не сходился».