Собраны были духовные и светские сановники судить Сильвестра и Адашева. Всего более ярились против Сильвестра Вассин, Чудовский архимандрит Левкий и Мисаил Сукин. Епископы, завидовавшие возвышению Сильвестра, примкнули к врагам его, когда увидели, что и царю угодно, чтобы все выказали себя противниками павшего любимца. Один митрополит Макарий с благородною смелостью заявил, что нельзя судить людей заочно и что следует выслушать их оправдание. Но угодники царя завопили против него: «Нельзя допускать ведомых злодеев и чародеев: они царя околдуют и нас погубят». Собор осудил Сильвестра на заточение в Соловки: его взяли из Белозерской пустыни и отвезли туда на тяжёлое заключение. Впрочем, положение его не могло быть очень тяжёлым в Соловецкой обители, игуменом которой был Филипп (впоследствии митрополит), человек, сходившийся в убеждениях с бывшим главою правительства. С этих пор имя Сильвестра уже не встречается в памятниках того времени.
Вместе с падением Сильвестра постиг конец и Адашева. Сначала ему велено было оставаться в недавно завоёванном городе Феллине, но вскоре царь приказал привести его в Дерпт и посадить под стражу. Через два месяца после своего заключения он заболел горячкою и скончался. Смерть избавила его от дальнейшего мщения царя, но клеветники распустили слух, будто он от страха отравил себя ядом. «Изменник твой отравился», — говорили они царю. Долговременная близость его к царю и управление государственными делами давали ему возможность приобрести большие богатства, но он не оставил после себя никакого состояния: всё, что приобретал, он раздавал нуждающимся.
VIII
С удалением строгих и докучных порицателей Иоанн изменил прежний образ жизни: он как будто вырвался из тесного заключения на свободу. Опека Сильвестра давно уже была ему не по душе, но его сдерживала пугливая совесть. Поначалу он, сколько мог, сдерживал и свою страстную природу, и порывы властолюбия. Чем сильнее было это принуждение, тем неукротимее высказался теперь его страстный характер. Смерть любимой жены также давала случай разыграться подавленным страстям. При её жизни он налагал на себя обет воздержаний, трудный для его характера, испорченного с малолетства. Курбский так описывает разгульную жизнь царя по смерти Анастасии: «Начались частые пиры со многим распутством; наливали великие чаши зело пьяного питья и давали первую выпить царю, а потом и всем с ним пирующим. Пир продолжался, пока не упьются до беспамятства или до неистовства. Про тех же, которые не хотели пить, кричали царю: «Вот какой он! Не хочет веселиться на твоём пиру... вот нашёлся праведник! Наверно, он осуждает нас и над нами смеётся: он твой недоброхот, несогласный с тобою; из него ещё не вышел дух Сильвестров и Алексеев!» Так тешились они над трезвыми людьми и выливали им на головы чаши или подвергали мукам... Вместо поста, целомудренной жизни и кротких молитв, появились тогда лень и долгое спанье, а по сне зевота и головная боль с похмелья».
Когда удалены были Сильвестр и Адашев, около Иоанна образовалась пустота: люди, к которым он привык, которых любил и уважал, исчезли; к новым людям, занявшим их место, не чувствовалось уважения. В это время новый удар — Иоанн овдовел, остался совершенно одинок, остался один с своими страстями, требовавшими немедленного удовлетворения. А Иоанн был человек крайностей: переходы от зла к добру и от добра к злу были в нём очень скоры. И вот он окружил себя любимцами, которые расшевеливали его дикие страсти, напевали ему о самодержавном достоинстве и возбуждали против людей Сильвестровой партии. Главным из этих любимцев были: боярин Алексей Басманов, сын его Фёдор, князь Афанасий Вяземский, Малюта Скуратов, Бельский, Грязной и чудовской архимандрит Левкий. Они теперь заняли место прежней «избранной рады» и стали царскими советниками. Под их влиянием царь начал с 1561 года свирепствовать над друзьями и сторонниками Сильвестра и Адашева.
Сначала не было казней: со сторонников Сильвестра взяты были записи. Но скоро, заметив, что низложенная партия хлопочет о возвращении власти, царь ожесточился. Тогда начались казни. На первых порах Иоанн, впрочем, часто довольствовался заключением в монастырь или ссылкой.