Создание Прокуратуры Союза ССР было крупным и исключительно своевременным шагом в деле дальнейшей централизации и независимости органов прокуратуры. В соответствии с принятым постановлением она осуществляла надзор за соответствием постановлений и распоряжений отдельных ведомств Союза, союзных республик и местных органов власти Конституции и постановлениям Правительства Союза ССР; наблюдение за правильным и единообразным применением законов судебными учреждениями союзных республик с правом истребования любого дела в любой стадии производства, опротестования приговоров и решений судов в вышестоящие судебные инстанции и приостановления их исполнения; возбуждение уголовного преследования и поддерживание обвинения во всех судебных инстанциях по территории Союза ССР; надзор на основе особого положения за законностью и правильностью действий ОГПУ, милиции, уголовного розыска и исправительно-трудовых учреждений; общее руководство деятельностью прокуратур союзных республик.
21 июня 1933 года постановлением ЦИК СССР первым прокурором Союза ССР был назначен известный государственный и политический деятель Иван Алексеевич Акулов. Его заместителем стал Андрей Януарьевич Вышинский.
Акулов узнал о своем назначении в санатории «Мухалатка» в Крыму, где он отдыхал с семьей. Вернуться в Москву он сумел только через несколько дней, поэтому первое время заниматься делами, связанными с организацией союзного прокурорского органа, пришлось Вышинскому. 23 июня он издал приказ № 1 по Прокуратуре Союза ССР следующего содержания: «Согласно постановления Центрального Исполнительного Комитета и Совета Народных Комиссаров от 20 июня 1933 года об учреждении Прокуратуры Союза ССР и на основании постановления ЦИК Союза ССР от 21 июня с. г. о назначении тов. Акулова Ивана Алексеевича прокурором Союза ССР и моего назначения заместителем Прокурора Союза ССР, я, ввиду нахождения тов. Акулова И. А. в очередном отпуске впредь до его возвращения вступил во вр[еменное] испол[нение] обязанностей прокурора СССР».
Так началась служба Вышинского в Прокуратуре Союза ССР, продолжавшаяся шесть лет. И. А. Акулов не был юристом и вообще не имел никакого высшего образования, опыт работы в органах правопорядка у него был незначительный — в 1931 году он являлся первым заместителем председателя ОГПУ. При таких обстоятельствах основная тяжесть по реорганизации прокурорского надзора легла на плечи Вышинского. В это время он работал исключительно много и неустанно: занимался комплектованием аппарата Союзной прокуратуры, готовил тексты многих приказов и указаний (некоторые из них подписывал сам), а также проекты постановлений ЦИК и СНК СССР, связанные с прокурорским надзором.
Прокуратура разместилась в старинном особняке, построенном еще в 1824 году и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 90-х годов улица носила название Пушкинская). В то далекое время, когда появился этот особняк, весь участок принадлежал 39 военному генерал-губернатору Москвы светлейшему князю Д. В. Голицыну. Его наследники продали весь участок московским купцам братьям Востряковым, которые надстроили третий этаж к основному зданию и соорудили еще несколько невысоких корпусов, предназначенных для сдачи внаем горожанам.
В 1905 году часть дома была арендована литературно-художественным кружком, основанным столичными писателями и театральными деятелями в 1899 году. Директорами правления кружка были поэт В. Брюсов, певец Л. Собинов, артист А. Сумбатов-Южин. С 1909 года здесь проходили знаменитые «среды» писателя Н. Телешова. В здании бывали поэты и писатели К. Бальмонт, А. Белый, И. Бунин, М. Горький, М. Волошин, В. Вересаев, А. Толстой, З. Гиппиус, Д. Мережковский, художники В. Серов, А. Васнецов, артисты М. Ермолова, А. Ленский, Г. Федотова и многие другие известные люди, в их числе ученые, юристы, врачи, политики. К этому времени основное здание было несколько перестроено, появился большой зал, где устраивались литературные чтения, дискуссии, художественные выставки. Бывали в доме и зарубежные знаменитости, здесь, например, чествовали писателя Эмиля Верхарна. Когда началась Первая мировая война, Литературно-художественный кружок прекратил свое существование, а многие помещения здания были отданы под лазарет для раненых.
После Октябрьской революции в особняке некоторое время размещался Пролеткульт. В 1919 году сюда переместился МК ВКП(б). Здесь работали известные революционеры секретари МК А. Ф. Мясников (Мясникян), Ф. А. Сергеев (Артем), размещались редакции газет «Рабочая Москва», «Вечерняя Москва», партийно-кооперативное издательство «Московский рабочий». 23 апреля 1920 года в большом зале прошел торжественный вечер в честь 50-летия В. И. Ленина. Под сводами этого дома звучал и голос В. Маяковского, читавшего партактиву свои поэмы «Владимир Ильич Ленин» и «Хорошо». Современный вид здание приобрело в 1926—1927 годах, когда оно было надстроено и заново оформлено.