Весною следующего, года Алексей Адашев послан был воеводой в Ливонию. Такая почётная должность служила для прежнего любимца уже знаком немилости: он должен был лично участвовать в войне, которую не одобрял. В это же время и Сильвестр, видя совершенную холодность к себе государя, добровольно удалился в Кирилло-Белозерский монастырь. Знаменательно в этом случае то, что и здесь мы видим остаток того нравственного влияния, которым Сильвестр пользовался над царём. Иоанн выставляет более виновным Адашева: «сыскав измены собаки Алексея Адашева со всеми его советниками». О Сильвестре же Иоанн говорит, что не сделал ему никакого зла и не хочет судить его, а будет судиться с ним перед судом Христовым. Невоздержанный на бранные выражения, Иоанн в переписке с Курбским позволяет себе только одно бранное выражение насчёт Сильвестра: припоминая свои столкновения с ним в совете о делах политических, позволяет себе называть его невеждою.
Итак, Сильвестр и Адашев сошли со сцены, но у них осталось немало приверженцев и сторонников. Последние нашли бы, может быть, средства примирить с ними царя. Но тут случилось обстоятельство, сделавшее невозможными это примирение и возврат к прежним отношениям.
VII
Тринадцать лет Иоанн наслаждался полным семейным счастьем с Анастасией, которую горячо любил; тринадцать лет Анастасия была ангелом-хранителем своего державного супруга, укрощая и сдерживая его пылкие страсти. Она цвела здоровьем и молодостью. Но в июле 1560 года она занемогла тяжкою болезнью, усилившуюся вследствие испуга. В сухое время, при сильном ветре, загорелся Арбат; тучи дыма с пылающими головнями неслись к Кремлю. Иоанн «с великою нужею» вывез больную царицу в село Коломенское; сам тушил огонь, подвергаясь величайшей опасности. Этот пожар возобновлялся несколько раз; многие люди лишили жизни или остались изувеченными. Царице от страха и беспокойства сделалось хуже: к отчаянию супруга и великой скорби всех русских, она скончалась 7 августа в 5 часу дня. Когда тело первой царицы московского государства несли для погребения в девичий Вознесенский монастырь, народ не давал пути ни духовенству, ни вельможам, теснясь к гробу. Все плакали, и всех неутешнее бедные нищие, называя почившую своею матерью. Когда им хотели раздавать обычную в таких случаях милостыню, они отказывались от неё, чуждаясь всякой отрады в этот день великой всеобщей печали. Иоанн шёл за гробом, ведомый под руки братьями Юрием и Владимиром Андреевичем и молодым царём казанским Александром. Он стенал и рвался от сильной горести. Один первосвятитель, сам обливаясь слезами, дерзал напоминать ему о твёрдости христианина.
Со смертью Анастасии Иоанн, по выражению Карамзина, «лишился не только супруги, но и добродетели». По смерти её, говорит летописец, «как будто великая буря поднялась в сердце царя, прежде тихом и благостном, и многомудрый ум его изменился на яростный нрав». Понятно, что с потерей любимой супруги царю стали ненавистны те, которые не любили её при жизни. Этим воспользовались «презлые ласкатели», особенно братья царицы, и стали шептать царю, что Анастасию извели своими чарами лихие люди, Сильвестр и Адашев. Иоанн, уже предубеждённый против своих бывших любимцев, легко поддался внушениям их врагов. Узнав от своих друзей о взводимом на них обвинении, Сильвестр и Адашев посылали письма к Иоанну, просили и чрез митрополита, чтобы их лично призвали на суд. Но враги не допустили до этого. «Если ты, царь, — говорили ему, — допустишь их к себе на глаза, они очаруют тебя и детей твоих; да, кроме того, народ и войско любят их, взбунтуются против тебя и нас перебьют каменьями. Хотя бы этого и не случилось, они опять обойдут тебя и возьмут в неволю. Эти негодные чародеи уже держали тебя как будто в оковах, повелевали тебе в миру есть и пить, не давали тебе ни в чём воли — ни в малых, ни в больших делах. Не мог ты ни людей своих миловать, ни царством своим владеть. Если бы не было их при тебе — таком славном, храбром и мудром государе, если бы они не держали тебя как на узде, то ты бы почти всею вселенною обладал. А то они своим чародейством отводили тебе глаза, не давали тебе ни на что смотреть, сами желали царствовать и всеми нами владеть. Только допусти их к себе, тотчас тебя ослепят! Вот теперь, отогнав их от себя, ты истинно пришёл в свой разум, открылись у тебя глаза; теперь ты — настоящий помазанник Божий; никто иной — ты сам один всем владеешь и правишь».