В марте 1934 года прокурор Союза И. А. Акулов издал приказ «О перестройке аппарата прокуратуры в центре и на местах». Наверное, если бы он был более сведущим в прокурорской деятельности, то не стал бы разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру аппарата прокуратуры, построенную по функциональному принципу. В приказе отмечалось, что отделы перестраиваются по производственному и производственно-территориальному принципу. По мнению руководства Прокуратуры Союза ССР, это должно обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную ему работу.
Для того чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», было признано необходимым ликвидировать разделение в структуре прокуратуры на общий и судебный надзоры, а также упразднить бюро жалоб. При этом предполагалось, что каждый отдел будет осуществлять весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заявлений и заканчивая надзором за рассмотрением дел в судах. Вместо отдела общего надзора, судебного надзора и бюро жалоб были образованы следующие секторы: по делам промышленности; по делам сельского хозяйства; по делам торговли, кооперации и финансов; по делам водного транспорта; по делам административно-судебного и культурного строительства; по судебно-бытовым делам и сектор мобработы. Было учреждено также справочное бюро, которое давало посетителям необходимые разъяснения.
Прокурорам союзных республик, краев и областей предлагалось перестроить свою работу применительно к структуре Прокуратуры Союза. В небольших областях вместо секторов надлежало иметь ответственных исполнителей (прокуроров) «по отдельным частям работы», а в районных прокуратурах перестройка должна быть направлена лишь на изменение методов руководства.
В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее Главной прокуратуры водного транспорта, прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Вышинский как квалифицированный юрист, наверное, понимал всю нелепость искусственного разделения отделов по производственному принципу. Поэтому, когда он стал прокурором Союза, то вновь перестроил работу органов прокуратуры по функциональному принципу, который, с теми или иными изменениями, сохранился и в наше время.
Неоценимую роль в дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников, в работе которого Вышинский принимал самое деятельное участие. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения ХVII партсъезда и задачи органов юстиции» сделал прокурор Союза ССР И. А. Акулов. В своем выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание на целый ряд «недочетов и извращений» и предложив конкретные меры по их устранению. Как писали тогда газеты, «докладчик говорил просто, без малейшей погони за вычурной красивой фразой».
С содокладом выступил председатель Верховного суда СССР А. Н. Винокуров, а в прениях — главный военный прокурор Орловский, член Верховного суда СССР Антонов-Саратовский, и. о. прокурора РСФСР Нюрина-Нюренберг, ученый-юрист Пашуканис, нарсудья из Самары Игольчук, прокурор города Москвы Филиппов, председатель Верховного суда РСФСР Булат и другие.
На вечернем заседании 24 апреля с докладом «О практике применения закона 7 августа 1932 года и директивы 8 мая 1933 года» выступил Н. В. Крыленко. В обсуждении его доклада приняли участие народные судьи из Белоруссии Гинзбург и Пашутина, заместитель председателя Верховного суда ССР Красиков, директор Института уголовной политики Шляпочников и другие.