13—16 июля 1936 года в Москве состоялось второе Всесоюзное совещание прокуроров. На него съехались прокуроры союзных и автономных республик, краев, областей, крупных городов, водных бассейнов, железных дорог. Участники совещания направили приветственные письма секретарю ЦК ВКП(б) И. В. Сталину, председателю Совнаркома СССР В. М. Молотову и председателю ЦИК СССР М. И. Калинину. Приветствия были направлены бывшему прокурору Союза И. А. Акулову, который после болезни приступил к исполнению обязанностей секретаря ЦИК СССР, а также прокурору Харьковской области М. И. Брону, который не смог прибыть на совещание из-за совершенного на него покушения (он был ранен).
Совещание заслушало доклады прокурора Союза Вышинского «Сталинская Конституция и задачи органов юстиции» и его заместителя Рогинского «Организационные вопросы перестройки прокуратуры в свете проекта Сталинской Конституции». Вышинский начал свой доклад с дифирамбов проекту новой Конституции, которую уже тогда все стали называть Сталинской. Затем он привел слова Сталина о том, что Советский Союз отстал от других развитых стран на 50—100 лет: «Мы должны «пробежать» это расстояние в 10 лет. Либо мы это сделаем, либо нас сомнут». Благодаря преимуществам советского строя и социалистической демократии эта задача оказалась вполне выполнимой, оптимистично заметил Вышинский. Говоря о разделе проекта Конституции об органах прокуратуры, он подверг критике точку зрения, выдвинутую Антоновым-Саратовским в статье, опубликованной в «Правде», о том, что Прокуратуру СССР необходимо включить в состав Наркомюста, а также идеи Крыленко, который пытался в конституционной комиссии поставить вопрос об исключении из раздела проекта Конституции о прокуратуре слова «высший» в отношении надзора. «Это очень маленькое предложение, на первый взгляд безобидное, но оно могло повлечь за собой чрезвычайно серьезные последствия», — подчеркнул Вышинский. Далее он сказал: «Мы имеем полное основание говорить, что нынешняя Прокуратура Союза строится как единая самостоятельная система прокурорских органов, сугубо централизованная».
Затем Вышинский перешел к изложению основных задач, стоящих перед органами прокуратуры, остановившись более подробно на двух направлениях: на вопросах, связанных с общим надзором, и на вопросах судебного надзора. Он отметил, что теперь вместо отделов промышленности, сельского хозяйства и т. п. будут созданы отделы общего надзора, следственный, уголовно-судебный и другие. При этом Вышинский покритиковал точку зрения Антонова-Саратовского и Виноградова, которые считали, что следственный аппарат надо изъять из органов прокуратуры и передать его органам юстиции или суду.
Идеи Вышинского по структуре органов прокуратуры были конкретизированы в докладе Рогинского.
1936 год оказался для Прокурора Союза очень насыщенным. Вышинский без конца выступал в многочисленных аудиториях по самым разнообразным вопросам: на Московском областном съезде членов коллегии защитников, на совещании в прокуратуре Украинской ССР, на VIII съезде Советов.
Проводил он и некоторые нетрадиционные встречи. 31 августа принял у себя участников и организаторов большого перехода на весельных лодках по Волге. Семь активистов прокуратуры Кимрского района Калининской области С. И. Болозеров, А. А. Горячев, М. С. Андреянова, С. Н. Стрейбо, С. М. Буланов, Е. Н. Соколова и В. В. Жуков, рабочие-стахановцы Савеловского механического завода и обувной фабрики «Красная Звезда» в рекордный срок — за 25 дней — преодолели расстояние от Кимр до Астрахани. По пути они ознакомились с работой групп содействия прокуратур Горьковского, Куйбышевского, Саратовского, Сталинградского краев, республики немцев Поволжья и поделились собственным опытом.
Организаторы перехода, прокуроры Кимрского района В. С. Шеврыгин и Калининской области Л. Я. Назаров, а также все его участники были премированы ценными подарками.
С 20 августа по 1 сентября в Прокуратуре СССР была проведена первая Всесоюзная учебная конференция народных и старших следователей, а с 1 по 10 сентября — вторая конференция следователей военных, железнодорожных и водно-транспортных прокуратур. На них присутствовало 116 лучших следователей страны, большинство из которых имели стаж работы свыше шести лет. После конференции Вышинский провел совещание со следователями. В декабре того же года состоялась и третья конференция следователей.