С этой целью с июля 1937 года были введены «массовые операции» с их «лимитами» и «национальными контингентами». Без сомнений, Большой террор был тщательно продуман Сталиным и его штабом. По указанию Сталина и Политбюро Ежов запланировал арест почти 270 тысяч человек, из которых 76 тысяч подлежали немедленному расстрелу с проведением их дел через тройки. Во исполнение этого плана региональным властям были спущены разнарядки на аресты и расстрелы. В ответ полетели запросы на повышение «лимитной» планки, что только приветствовалось руководством центра. Первоначально установленный четырехмесячный срок был значительно превзойден. За последующие месяцы Политбюро утвердило аресты еще свыше 180 тысяч человек, из которых 150 тысяч были обречены на расстрел. Ежов утвердил арест еще около 300 тысяч человек — без формальных санкций Политбюро и, очевидно, согласовав это со Сталиным. Итого при проведении операции во исполнение приказа № 00447 с августа 1937 года по ноябрь 1938 года тройками было осуждено 767397 человек, в том числе 386798 — к ВМН.
Кроме того, тысячи людей пострадали в ходе «национальных операций» против поляков, немцев, харбинцев, латышей, эстонцев, финнов, румын, греков, афганцев, иранцев, китайцев, болгар, македонцев и людей с ними связанных. При проведении национальных операций было охвачено почти 350 тысяч человек, в том числе почти 250 тысяч приговорены к высшей мере и 90 тысяч — к заключению. Сталин подписал 383 списка на осуждение, поданных Ежовым, в которых содержались имена свыше 44 тысяч государственных и партийных функционеров; почти 39 тысяч из них были приговорены к высшей мере. Другой целью был аппарат Коминтерна и зарубежные коммунистические партии. Свыше 7 тысяч командиров Красной Армии были осуждены за контрреволюционную деятельность, арестованы более 2 тысяч работников госбезопасности. С августа по октябрь 1937 года более 170 тысяч корейцев подверглись депортации из пограничных районов на Дальнем Востоке. Арестованы более 18 тысяч жен «врагов народа» и около 25 тысяч детей лишились опеки родителей. За пределами границ Советского государства, в Монгольской Народной Республике по указанию московского Политбюро в период между 1937–1939 годами были проведены массовые аресты (арестовано около 25 тысяч человек) и местной тройкой 20 тысяч человек приговорены к расстрелу. В результате за 1937–1938 годы за контрреволюционную деятельность и другие преступления против государства были арестованы более 1,5 млн. человек, из которых почти 700 тысяч расстреляны. По приказу Ежова и при его личном участии заключенных подвергали пыткам, заставляя их «признаться»; применение пыток было санкционировано Сталиным и Политбюро.
В 1937 году авторитет Ежова достиг апогея. В апреле, хотя он и не был членом Политбюро, он вошел в «пятерку» лидеров, которая осуществляла фактическое руководство от имени Политбюро. Летом ему также было вверено руководство военной разведкой. В октябре Ежов был введен кандидатом в состав Политбюро. Весной 1938 года карьера Ежова покатилась под уклон. В апреле того же года круг его обязанностей пополняется должностью наркома водного транспорта. В июне — июле выявляется предательство двух крупных работников НКВД, Люшкова и Орлова; Ежов не спешит доложить об этом Сталину, навлекая на себя недоверие вождя. В августе Сталин назначает Лаврентия Берию заместителем наркома внутренних дел с видом на дальнейшее его выдвижение в качестве преемника Ежова. Очевидно, к тому времени вождь решил избавиться от Ежова. С сентября по ноябрь 1938 года был арестован ряд сподвижников Ежова и людей из его окружения; под прицел попадает также его жена, которая в ноябре с помощью Ежова совершает самоубийство.