Привыкнув советоваться с Сильвестром в делах религиозных и нравственных, питая к нему неограниченную доверчивость, царь не мог не советоваться с ним и в делах политических. Иоанн принял твёрдое намерение покорить Ливонию. Но против этого намерения восстали бояре и особенно Сильвестр: вместо покорения Ливонии они советовали царю покорить Крым. Однако вопреки этому совету Иоанн продолжал войну ливонскую. Как же поступил в этом случае Сильвестр? Он стал внушать Иоанну, что все неприятности, постигавшие его после того — болезни его самого, жены, детей, — суть наказания Божия за то, что он разорял Ливонию, которую Сильвестр называл сирою вдовицею. Бесспорно, Сильвестр был вообще человек благонамеренный, муж строгого благочестия, что особенно и давало ему власть над набожным Иоанном. И против ливонской войны он выставлял со своей стороны благовидные причины: вместо того, чтобы воевать с христианами, лучше воевать с неверными, беспрестанно опустошавшими границы русской земли. Но, стараясь подействовать на Иоанна, Сильвестр переступал меру осторожности и тем раздражал его.
Влияние Сильвестра и друзей его тяготило Иоанна. В характере его была следующая черта: «Увлекаясь мыслью, он, не привыкший к труду, охотно отдавал подробности другим, вполне доверялся этим другим и потом замечал, что они забрали слишком много власти. Тогда он вооружался против тех, кому верил: доверие сменялось подозрительностью. К тому же недовольство на советников у него всегда соединялось с недовольством на себя — черта очень понятная у человека нервного и не умеющего энергично вести дело. Вот почему Иоанн от доверия перешёл к подозрительности, старался окружить себя людьми, которые не выходили бы из повиновения ему, и, научившись презирать этих людей, простёр своё презрение на всех, перестал верить в свой народ»[57].
В это время Иоанном овладели люди, неприязненные Сильвестру и Адашеву. Сильвестр и его сторонники раздражили шурьёв царя и саму царицу Анастасию: последнее было для них всего пагубнее. Мы не знаем, почему именно не ладила она с ними, но царь, в письме своём к Курбскому, напоминает, что Анастасию уподобляли нечестивым царицам и, между прочим, Евдоксии, жене византийского императора Аркадия, преследовавшей Иоанна Златоуста. Это указывает, что царица не любила Сильвестра, которого его сторонники сравнивали с св. Златоустом. С нею и с её шурьями действовали на царя другие, которые, по правдоподобному объяснению Курбского, хотели удалить Сильвестра и его сторонников для того, чтобы им невозбранно было всем владеть, брать посулы, извращать правосудие и умножать злыми способами свои пожитки. Хотя до нас не дошли непосредственно их доводы, какими они вооружали царя против Сильвестра и Адашева, но, вероятно, они были именно те, какие сам царь впоследствии приводил для оправдания своих последующих поступков. Вот эти доводы: священникам совсем не следует властвовать и управлять; царство, управляемое попами, разоряется: так было в Греции; и Бог, изводя Израиля из плева, не священника над ними поставил и не многих правителей, а единого Моисея, как царя; Аарону же, его брату, повелел священствовать, а не творить людского строения. А как Аарон начал заниматься людским строением, так и отвёл от Бога людей. Царь должен быть самодержавен, всем повелевать и никого не слушаться; а если он будет делать то, что другие постановят, тогда только честию царскою председания будет почтён, а на деле не лучше раба. И пророк сказал: «Горе граду, имже мнози обладают». Русские владетели и прежде никому не повиновались, а вольны были подвластных своих миловать и казнить. Так говорил царь: так, вероятно, и ему говорили враги Сильвестра и его партия. Но в довершение всего они заронили царю мысль, что Сильвестр — чародей и силою волшебства опутал его и держит в неволе.
Зимою 1559 года произошло крупное столкновение Сильвестра и Адашева или советников их с царицею, решившее судьбу бывших царских любимцев. Подробности этого события нам неизвестны. Знаем только, что во время богомольного путешествия царица захворала в Можайске. Иоанн поспешил с нею в Москву; наступила страшная беспутица: ни верхом, ни в санях нельзя было проехать. Тут из-за какого-то обидного для бояр слова Анастасии произошла ссора. «За одно малое слово с её стороны явилась она им неугодна; за одно малое слово её они рассердились».