Сам Сталин, разумеется, вскоре понял истинные причины убийства Кирова. Однако уже не мог дать «обратный ход» развязанному террору и, видимо, решил использовать сложившуюся ситуацию для физического устранения тех, кто хоть в чем-либо был не согласен с его политикой. Репрессии против политических противников были начаты по инициативе Сталина в конце 1936 года. По его указанию нарком внутренних дел Генрих Ягода устроил избиение партийных кадров, ответственных работников органов госбезопасности, комсомола, наркоматов, других ведомств, в которых, по мнению вождя, завелись «враги народа».
С января 1935 года, в соответствии с распределением обязанностей в политбюро, Сталин лично курировал органы государственной безопасности. Это означало, что ни одно назначение на номенклатурную должность в НКВД не могло состояться без его санкции. Для подготовки Большого террора нарком внутренних дел Генрих Ягода по указанию Сталина приступил к чистке органов государственной безопасности, устраняя лиц, которые в прошлом поддерживали оппозицию и голосовали за ее платформу. Перед тем как развернуть массовые репрессии против своих оппонентов, Сталин стремился обезопасить себя от «врагов» и «троцкистов» в НКВД. По его логике, в этом не было ничего удивительного: в 1920-е годы, когда в партии существовала относительная свобода мнений, велись внутрипартийные дискуссии по наиболее важным вопросам, платформа оппозиции набирала до 40 процентов голосов чекистов. К тому же в самом начале деятельности в ВЧК работали также левые эсеры, которые привносили свое видение мира в работу этой организации.
Генрих Ягода уволил из органов госбезопасности 8100 человек, заподозренных в нелояльности к политике Сталина. Начались громкие судебные процессы над лидерами антисталинской оппозиции. Однако темпы расправы с инакомыслящими не устраивали генсека, который обвинял Ягоду в излишнем либерализме. 25 сентября 1936 года Сталин, находившийся вместе со Ждановым на отдыхе в Сочи, направил в Москву членам политбюро телеграмму следующего содержания: «Считаем абсолютно необходимым и срочным назначение тов. Ежова на пост наркомвнутдела. Ягода явным образом оказался не на высоте своей задачи в деле разоблачения троцкистско-зиновьевского блока. ОГПУ опоздало в этом деле на четыре года. Об этом говорят все партработники и большинство областных представителей НКВД».
Уже 26 сентября, на следующий день после получения телеграммы Сталина, наркомом внутренних дел стал секретарь ЦК ВКП(б) Николай Ежов. По совместительству за ним сохранялись посты секретаря ЦК и председателя Комитета партийного контроля. Одним из первых шагов Ежова на посту наркома стало указание о том, что органы госбезопасности должны развернуть чистку, начиная с самих себя.
18 марта 1937 года Ежов выступил на собрании руководящих работников Наркомата внутренних дел, на котором заявил, что «шпионы» заняли в НКВД ключевые посты, и потребовал «твердо усвоить, что и Дзержинский испытывал колебания в 1925–1926 годах, и он проводил иногда колеблющуюся политику». Это был сигнал о том, что репрессии коснутся и ближайших соратников Дзержинского. Вскоре волна арестов в НКВД захлестнула и его руководящих работников. Прежде всего это коснулось лиц польской национальности. Руководством страны было выражено политическое недоверие, в частности внешней разведке.
В своих мемуарах «Разведка и Кремль» Павел Судоплатов писал:
«Когда арестовывали наших друзей, все мы думали, что произошла ошибка. Но с приходом Деканозова (начальник внешней разведки со 2 декабря 1938 года по 13 мая 1939 года.
Я считаю Ежова ответственным за многие тяжкие преступления. Больше того, он был еще и профессионально некомпетентным руководителем…
Чтобы понять природу «ежовщины», необходимо учитывать политические традиции, характерные для нашей страны. Все политические кампании в условиях диктатуры неизменно приобретали безумные масштабы, и Сталин виноват не только в преступлениях, совершавшихся по его указанию, но и в том, что позволил своим подчиненным от его имени уничтожать тех, кто оказывался неугодным местному партийному начальству на районном и областном уровнях. Руководители партии и НКВД получили возможность разрешать даже самые обычные споры, возникавшие чуть ли не каждый день, путем ликвидации своих оппонентов».