К раскручиванию этого молоха приложил руку и Прокурор Союза ССР И. А. Акулов, который спустя несколько лет сам попадет под него. 8 декабря 1934 года он совместно с Председателем Верховного суда СССР А. Н. Винокуровым подписал директиву о применении на практике постановления ЦИК СССР от 1 декабря. В ней дан перечень должностных лиц, покушение на жизнь и здоровье которых должно квалифицироваться как террористический акт и рассматриваться в порядке указанного закона. Директива придавала обратную силу закону от 1 декабря 1934 года, то есть распространяла его на те деяния, которые были совершены до его принятия.
Иван Алексеевич Акулов занимал пост Прокурора Союза ССР до марта 1935 года. Он пользовался у своих подчиненных неизменной симпатией. Вот что писал о нем бывший сотрудник Прокуратуры Союза ССР Н. А. Орлов: «Акулов был в полном смысле слова обаятельным человеком, человеком широкой русской души. Любил жизнь, природу. Уезжая в отпуск, любил путешествовать, узнавать и показывать другим новые, красивые места, был тонким ценителем искусства, любил и понимал музыку. Дома это был идеал семьянина, необыкновенно любящий отец. Он высоко ценил дружбу, умел дружить и был верным, надежным другом».
Видимо, эти его качества и не понравились Сталину. И хотя Акулов, как и другие лица, стоявшие на вершине власти, слепо выполнял все требования (даже противоречащие закону), вождь понимал, что на посту Прокурора Союза ССР нужен не такой человек. И. А. Акулов, интеллигентный и мягкий, явно не подходил для роли организатора массовых репрессий.
Постановлением ЦИК СССР от 3 марта 1935 года (подписано М. Калининым и И. Уншлихтом) И. А. Акулов был утвержден секретарем ЦИК СССР с освобождением от обязанностей Прокурора Союза ССР.
Новым Прокурором Союза ССР был назначен А. Я. Вышинский, сумевший выполнить роль главного инквизитора вождя.
На новой должности И. А. Акулов работал с присущей ему энергией, полностью отдаваясь делу, которому служил.
В мае 1937 года органами НКВД СССР была арестована группа советских военачальников: М. Н. Тухачевский, И. П. Уборевич, А. И. Корк и другие. В их числе оказался и приятель Акулова, И. Э. Якир. С ним он поддерживал связь еще со времен гражданской войны. В конце 1920-х годов они в течение двух лет жили по соседству в Киеве. 11 июня 1937 года Специальное присутствие Верховного суда СССР приговорило всех участников так называемого военного заговора к высшей мере наказания, которая была приведена в исполнение без промедления. После этого начались повальные аресты в армии.
Обстановка в высших эшелонах власти становилась все более гнетущей — никто не знал, кто окажется следующей жертвой, кто попадет в ежовские застенки. И. А. Акулов заметно нервничал, хотя даже после освобождение от должности секретаря ЦИК СССР не верил, что его могут арестовать. Его жена, Н. И. Шапиро, впоследствии писала: «В последние дни этот спокойный уравновешенный человек дошел до такой степени морального изнеможения, что не в состоянии был написать письмо в ЦК. Для него было все случившееся с ним непонятно и неоднократно срывались вопросы «кому это нужно» и «за что?» Также он говорил: «О чем просить, если я не знаю, в чем я виноват».
Ордер на арест Акулова и производство обыска у него был выдан заместителем наркома внутренних дел 23 июля 1937 года. В тот же день Иван Алексеевич был задержан на своей даче в селе Покровское Красногорского района. Обыск произвели и в его московской квартире (по Троицкой улице, дом № 10, особняк ЦИК СССР).
25 июля 1937 года И. А. Акулов собственноручно заполнил так называемую анкету арестованного, в которой сообщил свои основные биографические данные. В то время на его иждивении находилась жена, Надежда Исааковна Шапиро, трехмесячная дочь Елена, 9-летний сын Гавриил (Ганя, как звал его отец), ученик 2-го класса, и мать, Мария Ивановна, 74 лет. С ним проживали также его сестры Анна Алексеевна и Мария Алексеевна.
И. А. Акулов был помещен в Лефортовскую тюрьму. Его делом занимались сотрудники госбезопасности Краев и Альтман. Первоначально допрашивал Краев. Протокол не составлялся. 4 августа Иван Алексеевич написал собственноручное заявление на имя следователя Альтмана. В нем он писал:
«Вчера на допросе у следователя Краева я дал частичные показания (устно) о своем участии в троцкистской организации и подготовке антисоветского вооруженного переворота в стране.
Эти мои показания были еще далеко не полными, но по существу полностью правдивыми.
Сегодня я снова сдвурушничал и вместо того, чтобы продолжить показания о своей предательской деятельности, я заявил, что участником троцкистской организации не являлся…
Утверждаю, что правде соответствует следующее: я, Акулов, являлся участником антисоветской троцкистской организации и подготовки антисоветского вооруженного переворота…»