Соловецкие иноки сначала давали только хорошие отзывы о Филиппе. Но Пафнутий соблазнил игумена Паисия обещанием епископского сана, если он станет свидетелем против митрополита. К Паисию присоединилось несколько старцев, склоненных угрозами. Пафнутий привез их к царю. Собрали собор. Первенствовал на нем из духовных Пимен новгородский: из угождения царю он заявил себя врагом Филиппа, не подозревая, что через два года и его постигнет та же участь, какую теперь готовил митрополиту. Призван был митрополит и, не дожидаясь суда, сказал: "Ты думаешь, царь, что я боюсь тебя, боюсь смерти за правое дело? Мне уже за шестьдесят лет; я жил честно и беспорочно. Так хочу и душу мою предать Богу, судье твоему и моему. Лучше мне принять безвинно мучение и смерть, нежели быть митрополитом при таких мучительствах и беззакониях! Я творю тебе угодное. Вот мой жезл, белый клобук, мантия! Я более не митрополит. А вам, архиепископы, епископы, архимандриты, иереи и все духовные отцы, оставляю повеление: пасите стадо ваше, помните, что вы за него отвечаете перед Богом; бойтесь убивающих душу более, чем убивающих тело! Предаю себя и душу свою в руки Господа!" Он повернулся к дверям, намереваясь уйти, но царь остановил его и сказал: "Ты хитро хочешь избегнуть суда; нет, не тебе судить самого себя; дожидайся суда других и осуждения; надевай снова одежду, ты будешь служить на Михайлов день обедню".
Митрополит, молча, повиновался, надел одежду и взял свой жезл. В день архангела Михаила Филипп в полном облачении готовился начинать обедню. Вдруг входит Басманов с опричниками; богослужение приостанавливается; читают всенародно приговор церковного собора, лишающий митрополита пастырского сана. Вслед за тем воины вошли в алтарь, сняли с митрополита митру, сорвали облачение, одели в разодранную монашескую рясу, потом вывели из церкви, заметая за ним след метлами, посадили на дровни и повезли в Богоявленский монастырь. Народ бежал за ним следом и плакал: митрополит осенял его на все стороны крестным знамением. Опричники кричали, ругались и били едущего митрополита своими метлами.
Через несколько дней привезли на телеге низложенного митрополита слушать окончательный приговор. Игумен Паисий проговорил ряд обвинений. Пимен также говорил против Филиппа. Филипп сказал: "Да будет благодать Божья на устах твоих. Что сеет человек, то и пожнет. Это не мое слово – Господне". Его обвиняли, между прочим, в волшебстве и приговаривали к вечному заключению. Филипп не оправдывался, не защищался, а только сказал царю: "Государь, перестань творить богопротивные дела. Вспомни прежде бывших царей. Те, которые творили добро, и по смерти славятся, а те, которые дурно правили своим царством и теперь вспоминаются недобрым словом. Смерть не побоится твоего высокого сана: опомнись, и прежде ее немилостивого пришествия принеси плоды добродетели и собери сокровище себе на небесах, потому что все собранное тобою в этом мире здесь и останется".
Его увели. По царскому приказанию ему забили ноги в деревянные колодки, а руки в железные кандалы, посадили в монастыре Св. Николая Старого и морили голодом.
Рассказывают, что царь приказал отрубить голову племяннику его Ивану Борисовичу Колычеву, зашить в кожаный мешок и принести к Филиппу. "Вот твой сродник, – сказали ему, – не помогли ему твои чары".
Через несколько дней царь приказал отправить Филиппа в Отрочь-монастырь в Тверь: с досады он казнил еще нескольких Колычевых. Вместо Филиппа царь велел избрать в сан митрополита троицкого архимандрита Кирилла. Бедному Пимену не удалось сесть на митрополичий престол, чего он надеялся.
Мужество Филиппа раздразнило Ивана; оно подействовало на него не менее писем Курбского; оно усилило в нем склонность искать измены и лить кровь мнимых врагов своих. В характере царя, как мы уже заметили, было медлить гибелью тех, которых он особенно ненавидел; его воображение как бы тешилось образами будущих мук, которые ожидали ненавистных ему людей, а между тем он срывал злобу на других.
Уже давно не терпел он своего двоюродного брата Владимира Андреевича: последний в глазах подозрительного царя был для изменников готовым лицом, которого бы они, если б только была возможность, посадили на престол, низвергнув Ивана, но Иван не решался с ним покончить, хотя уже в 1563 году положил свою опалу как на него, так и на мать его; после того мать Владимира постриглась. Иван держал Владимира под постоянным надзором, отнял у него всех его бояр и слуг, окружил своими людьми, с тем чтобы знать о всех его поступках и замыслах. В 1566 году царь отнял у него удел и дал вместо него другой.