17 декабря 1933 года ЦИК и СНК СССР утвердили Положение о Прокуратуре Союза ССР. Это был один из самых важных законодательных актов, уточнявших функции органов прокуратуры. Над ним Вышинский работал особенно упорно. Положение устанавливало, что прокурор Союза назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК. Прокурор Союза был ответствен только перед Совнаркомом, ЦИК СССР и его Президиумом. Положение оставило основные задачи и функции Прокуратуры в том виде, в каком они провозглашались в постановлении об ее учреждении. Однако в нем конкретизировались некоторые принципиальные вопросы. Например, предусматривалось, что надзор за правильным и единообразным применением законов судебными учреждениями и следственными органами союзных республик осуществляется как прямо, так и через прокуроров союзных республик. Прокурор Союза получил право давать необходимые указания органам расследования. Уточнялось, что он возбуждает уголовное преследование и поддерживает обвинение по делам, подсудным Верховному суду СССР, непосредственно, а по делам, подсудным судебным органам союзных республик, — как непосредственно, так и через прокуроров союзных республик; надзор за законностью и правильностью деятельности ОГПУ осуществляет непосредственно. Для этих целей при прокуроре Союза состояла прокуратура по специальным делам, возглавляемая его старшим помощником. Военные и транспортные прокуратуры, входившие в систему Прокуратуры Союза, действовали на основании особых положений.
Положение устанавливало, что прокурор Союза ССР вправе был давать прокурорам союзных республик указания, касающиеся их деятельности, созывать совещания всех прокуроров для обсуждения важнейших вопросов, а также производить обследования и проверки деятельности прокуратур союзных республик и получать от них отчеты. С прокурорами автономных республик, краев, областей и районов он связывался, как правило, через прокуроров союзных республик, а в случаях, не терпящих отлагательства, непосредственно, но с уведомлением об этом прокуроров соответствующих республик. Указания и распоряжения прокурора Союза были обязательны для всех органов прокуратуры.
Прокуроры союзных республик назначались и отзывались прокурором Союза ССР по согласованию с ЦИК союзных республик, а краевые, областные прокуроры и прокуроры автономных республик — назначались и отзывались с согласия Прокурора Союза. Прокуроры по спецделам в союзных и автономных республиках, краях и областях, а также прокуроры по надзору за ОГПУ назначались и отзывались только прокурором Союза ССР.
Положение предусматривало, что Прокуратура Союза состоит из отделов, возглавляемых старшими помощниками или помощниками прокурора Союза. Число отделов и штаты устанавливались прокурором Союза по согласованию с Наркоматом рабоче-крестьянской инспекции.
Распоряжения прокурора Союза могли отменить (или приостановить) только ЦИК СССР и СНК СССР. Прокурор участвовал с совещательным голосом в заседаниях Президиума, Совнаркома СССР, Совета труда и обороны и Комиссии исполнения при СНК. Он имел право законодательной инициативы.
С самого начала работы в Прокуратуре Вышинский стал активно использовать судебную трибуну для борьбы с преступлениями, «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя прокурора Союза, было дело о некомплектной отгрузке комбайнов, рассматривавшееся уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей, в их числе заместитель начальника Союзсельхозснаба Реттель, начальник управления сбыта Союзсельмаша Моев, директор Запорожского завода «Коммунар» Шабашвили, его заместитель Дик и другие. Основанием для возбуждения дела послужили многочисленные факты некомплектной отгрузки комбайнов заводом «Коммунар», что приводило к их длительным простоям. И хотя следствием не было выявлено какого-либо злого умысла со стороны обвиняемых, Вышинский в своей речи пытался представить дело как «отражение еще не оконченной в стране классовой борьбы». Подсудимых он называл проводниками «капиталистической партизанщины» и «враждебных советскому социалистическому строительству настроений, традиций, привычек, взглядов, методов работы», а их действия — как «прямой заговор группы государственных служащих против советского закона». И все же в этом процессе он был пока еще склонен «всякое сомнение толковать в пользу подсудимого» и даже посчитал излишним «излагать рецепты наказаний для каждого из подсудимых». Может быть, поэтому судьи и вынесли довольно мягкий для тех лет приговор — пятерым они определили принудительные работы, а остальным — общественное порицание или предупреждение.