Артузов вскоре был арестован и расстрелян. В течение следующего года были арестованы и расстреляны большинство из тех, кто занимал посты начальников отделов при Ягоде. Один из немногих, кого пока решили не трогать, был Слуцкий. Расчет был прост: ошибочно полагая, что чистка не затронула их отдел, находившиеся за рубежом офицеры ИНО, которых было решено ликвидировать, легко соглашались на то, чтобы вернуться в Москву. В феврале 1938 года Слуцкий был уже никому не нужен. Его пригласили в кабинет заместителя Ежова, Михаила Фриновского, где ему предложили чай и пирожные. Отведав угощение, Слуцкий скончался на месте, якобы от сердечного приступа. Опытные офицеры НКВД, которые присутствовали на похоронах Слуцкого, впоследствии рассказывали, что на его лице они заметили характерные точки — следы отравления синильной кислотой. В официальном некрологе, подписанном его «соратниками по работе», Слуцкого называли «бесстрашным бойцом за дело рабочего класса,… чье имя было известно чекистам во всех уголках нашей необъятной Отчизны,… это имя наводило ужас на врагов». В отличие от своих предшественников Трилиссера и Артузова, чьи портреты сегодня висят в мемориальной комнате ПГУ. Слуцкий не был удостоен этой чести.
Следующий крупный заговор, раскрытый Ежовым, был связан с Красной Армией. 11 июня было объявлено о том, что маршал Тухачевский, герой Гражданской войны и ведущий советский военный стратег, арестован вместе с другими семью генералами по обвинению в предательстве. По-видимому, уже на следующий день все они были расстреляны. Маршал Ворошилов докладывал, что предатели «признались в совершенных ими преступлениях, вредительстве и шпионаже». Как потом было объявлено, они вступили в сговор с Троцким и нацистской Германией. Несмотря на всю абсурдность этих обвинений и параноидальный характер страха перед контрреволюционным заговором, Сталин и Ежов, по-видимому, действительно опасались военного переворота. Фриновский, заместитель Ежова, рассказывал Кривицкому: «Мы только что раскрыли гигантский заговор в армии, такой заговор, какого еще не знала история. Мы только что узнали о планах убить самого Николая Ивановича (Ежова)! Но мы взяли их всех, сейчас мы все контролируем.» Заместитель начальника ИНО Михаил Шпигельглас в беседе с еще одним перебежчиком, Александром Орловым, рассказывал: «Это был настоящий заговор, это было понятно по той панике, которая начала распространяться там, наверху: все пропуска в Кремль вдруг были объявлены недействительными, а наши подразделения держали в состоянии боевой готовности. Как сказал Фриновский: „Все Советское правительство висело на волоске, не было возможности действовать, как в нормальные времена, т.е. сначала судить, а потом расстреливать, в этом случае мы должны были сначала расстреливать, а потом судить.“
Как потом выяснилось, гестапо решило воспользоваться болезненным страхом Сталина. Были сфабрикованы документы, в которых говорилось о том, что Тухачевский собирается совершить с помощью немцев военный переворот. Эти документы были подброшены в Чехословакию. Однако по существу эта операция гестапо была не нужна. Сталин решил ликвидировать вымышленный заговор военных еще до того, как ему об этом рассказал президент Чехословакии Бенеш. Даже в своих самых смелых мечтах гестапо не могло предположить, что Сталин и Ежов самостоятельно примутся за последовательное уничтожение высшего командования Красной Армии.