В «Лицевом летописном своде» (60—70-е годы XVI века) о старце было сказано: «Всем он владел, обеими властями, и святительской, и царской, точно царь и святитель, только имени и престола не имел царских, но поповские».
На Соловки Сильвестр был переведен из Кирилло-Белозерского монастыря, где содержался в заточении с 1560 года. Возглавляя «Избранную раду», Сильвестр имел огромное влияние на молодого Ивана Васильевича. Известно, что именно он призвал царя быть не только крепким во власти и вере, но и жестоким по отношению к своим врагам, видеть в них «крамольников», угрожающих Святому Православию.
Спустя годы в число врагов Грозного царя попал и он сам.
В Соловецком монастыре опальный протоиерей находился под «строжайшим присмотром», здесь же он был насильно пострижен в монахи с именем Спиридон.
Характерно, что в последние годы своей жизни Сильвестр (Спиридон) занимал крайне антииосифлянскую позицию, притом что сам до определенного времени имел при государевом дворе значительный вес и влияние, а также по сути возглавлял «Избранную раду», будучи при этом лицом духовного звания.
До конца XVIII столетия в монастыре не было специальных тюремных построек, а посему местом заточения колодников служили так называемые каменные «мешки», казематы, своего рода полости, образовавшиеся во время строительства стен и башен Соловецкой крепости. По большей части камеры здесь располагались ниже уровня земли, имели размер два на два метра или около того, а под самым потолком тут зияло крохотное зарешеченное окно. Впрочем, ряд камер имел лишь отдушину, так как они находились во внутреннем периметре башни и, следовательно, не имели контакта с внешним миром.
В 1798 году под острог на острове был приспособлен подвальный этаж иконописной палаты, возведенной еще в 1615 году рядом с Корожной башней. Здесь специальным образом было оборудовано 11 тюремных казематов, которые на Соловках называли «арестантскими чуланами».
В своей книге «Год на Севере», в главе, посвященной Соловецкому монастырю, С. В. Максимов писал: «В одном из промежутков между циклопическими стенами Соловецкого монастыря, складенными из громадных диких камней, и стенами жилых монастырских строений, в северо-западном углу, приютилась отдельная палата каменная и двухэтажная... 16 новых “чуланов” (похожих более на собачьи конуры) прилажены были и в верхнем этаже в 1828 году, а в 1842 году тюрьма увеличилась надстройкою третьего этажа, который и делает ее видною богомольцам из-за стен. До того времени мест заключения было несколько: у Никольских ворот, у Святых ворот, под крыльцом Успенского собора и в башнях: западной и на восточной стороне. Иных узников не помещали в тюрьмы: так, один священник Симеон жил в хлебне, прикованным на цепь, и в таком виде месил братские хлебы...»
Изначально обязанности надзора за арестантами были возложены на монахов обители, но уже к концу XVI века из числа стрельцов Соловецкого гарнизона был сформирован отряд надзирателей. С этого момента островное население поделилось на тех, кто находился в затворе, и на тех, кто их охранял.
Великим постом 1566 года игумен Филипп (Колычев) покинул Соловецкий Спасо-Преображенский монастырь и отправился в Москву для поставления на митрополичью кафедру.
Как писал Г. П. Федотов, «игумен простился с плачущей братией. Впрочем, слезы не у всех были искренними. Кое-кто без сожаления расставался со святым игуменом».
Конфликт, давно тлевший между настоятелем и частью братии, не был уврачеван, и именно он стал питательной средой для клеветы и ложных показаний о якобы неправедной жизни Филиппа в бытность его настоятелем в Спасо-Преображенском монастыре, а также тех наветов, сбором которых активно занялись при дворе царя Ивана Васильевича.
В комиссию по «обыску о жизни» Филиппа вошли архиепископ Суздальский и Тарусский Пафнутий, архимандрит Андроникова монастыря Феодосий, князь Василий Темкин и дьяк Дмитрий Пивов. Как это бывает в таких случаях, не имея никаких личных претензий к Соловецкому игумену, «дознаватели» не рискнули пренебречь царевым указом и с энтузиазмом принялись за дело.
Ключевыми фигурами со стороны обвинения стали Паисий, келарь монастыря при Филиппе, а ныне соловецкий игумен (которому даже был предложен епископский сан в обмен на сговорчивость), и архиепископ Новгородский Пимен, постриженник Кирилло-Белозерского монастыря.
Осенью 1568 года в Успенском соборе Московского Кремля Паисий зачитал «свитки» своих показаний, а также показаний ряда соловецких старцев перед Освященным собором. В свою очередь Пимен, на тот момент один из наиболее приближенных к царю архиереев, обвинил святителя в «неистовствах» и колдовстве.
Выслушав потоки клеветы и оскорблений в свой адрес, обвиняемый сказал: «Благодать Божия да будет на устах твоих, чадо, ибо льстивые уста против меня отверзлись. Не слышал ли Божие слово. “Аще кто речет брату своему ‘юродиве’, повинен геенне огненной”? Вспомни и другое изречение Священного Писания: “Что сеет человек, тот и пожнет”, — это слово не мое, а Господне».