В течение второй половины 1937 г. и в начале 1938 года «большая чистка» нанесла значительный удар по работникам советской юстиции. Только по данным, имеющимися у авторов, на начало 1993 года установлено 280 репрессированных прокуроров и следователей, из них 90 человек расстреляны по приговорам судов и решениям «троек». Наиболее жестокие преследования осуществлялись в те годы в отношении прокуроров республик, краев и областей. 44 из них были арестованы и осуждены, причем 23 — к высшей мере наказания, а 17 — отправлены в лагеря, где отбывали длительный срок. Впоследствии трое умерли, а один покончил жизнь самоубийством. В числе репрессированных и расстрелянных были и женщины-прокуроры. Все прокуроры, чьи дела проверены, в настоящее время реабилитированы.
Для прокурорских работников был отработан свой особый «трафарет». Как правило, уголовные дела возбуждались по докладным запискам, точнее, по доносам работников органов НКВД, недовольных действиями прокуроров. В них отмечалось, что такой-то прокурор противодействует борьбе с врагами народа, необоснованно отказывает в санкциях на арест, возвращает на доследование контрреволюционные дела, придирается по мелочам к «честным» чекистам. Вскоре появлялась некая оперативная разработка, свидетельствующая о якобы вскрытом антисоветском «подполье» с троцкистским уклоном, а то и о зреющем террористическом заговоре в прокуратуре. Наиболее сильные и влиятельные прокуроры «обкладывались» органами НКВД со всех сторон. На них долго и тщательно собирался компромат, при этом не гнушались даже посылать своих сотрудников в другие города, где ранее работали «неблагонадежные».
Органы НКВД пытались даже расправляться с «законниками» руками самих же прокурорских работников. Один из сотрудников Прокуратуры СССР рассказал на следствии, как его хотели завербовать. С его слов, весной 1938 года к нему обратился «весьма ответственный» работник НКВД СССР с просьбой «помочь органам госбезопасности опытом, приобретенным им на прокурорской работе», а также своей «общеюридической и научной квалификацией» в борьбе с «преступлениями и преступниками в Прокуратуре СССР, в особенности в его верхушечном аппарате». Отказать в такой «просьбе» сотрудник не смог и обещал помочь, хотя никаких подписок не давал. С этого времени он стал устно и письменно передавать информацию в НКВД о том, что происходит в аппарате Прокуратуры Союза. В основном его данные касались следственной работы, степени доверия к статистической отчетности прокуратуры, состояния кадров, недобросовестном, по его мнению, поведении некоторых лиц. Однако вскоре представители НКВД «разъяснили» доносителю, что «область общеуголовных преступных деяний» работников прокуратуры их интересует в гораздо меньшей степени, так как они не склонны «исследовать причины отрицательных явлений в работе прокуратуры», а гораздо более заинтересованы в том, чтобы узнать, «где, кто, как выразился, нет ли у кого антисоветского душка», то есть просили дать оценки политического характера. Когда же сотрудник Прокуратуры, согласившийся «помогать» органам НКВД, не смог удовлетворить их любопытство, его самого отправили за решетку.
Вышинский не только был хорошо осведомлен об арестах, казнях и осуждении к длительным срокам заключения прокуроров и следователей, но и сам усиленно раскручивал молох репрессий в собственном ведомстве: лично или через своих заместителей давал санкции на их арест по первому же требованию работников НКВД, увольнял прокуроров, иногда сам предлагал чекистам «присмотреться» к той или иной «неблагонадежной личности». Этому имеется немало свидетельств. Конечно, далеко не в каждом деле осужденного прокурора виден отчетливый «след» главного законника страны, но незримая тень его обязательно присутствует.
В конце 1936 года на Украине была арестована большая группа прокурорских работников. По указанию Вышинского в феврале 1937 года туда выехали его помощники М. В. Острогорский и Л. Р. Шейнин. Вышинский поставил перед ними задачу «разрешить на месте ряд практических вопросов». Как показал потом на следствии Острогорский, в Киеве они столкнулись с «явно нездоровой обстановкой в Украинской прокуратуре». По его словам, «наличествовали паникерские настроения, растерянность, неуверенность в завтрашнем дне». Закончили свою работу в Киеве Острогорский и Шейнин тем, что собрали материалы, изобличающие как врагов ряд работников прокуратуры, «переброшенных» из Украины в другие местности страны. В частности, на прокурора Саратовской области Пригова, заместителя прокурора Московской области Торговца, работника Прокуратуры СССР Викторова. Материалы «розыска» были доложены Вышинскому. Вскоре все указанные Острогорским и Шейниным лица были арестованы, а первые двое — расстреляны.
Как реагировал Вышинский на предложения прокуроров обуздать нарушителей законности, убедительно рассказал в своих воспоминаниях, опубликованных в книге «Расправа. Прокурорские судьбы», бывший военный прокурор Михаил Михайлович Ишов.