В 1925 году А. Я. Вышинский покинул прокуратуру. Ученый совет Московского государственного университета избрал его своим ректором. К этому времени он был уже профессором. Наряду с выполнением обязанностей ректора, он читал также курс лекций по уголовному процессу на юридическом факультете. На основе лекций вскоре издал учебник «Курс уголовного процесса». В эти же годы его назначили членом комиссии законодательных предположений при Совнаркоме СССР.
В мае 1928 года Вышинского временно призвали в органы юстиции. Ему поручили председательствование в Специальном присутствии Верховного суда СССР по делу группы «вредителей» в угольной промышленности, известному больше как «шахтинское дело». В начале декабря 1930 года он возглавил группу судей на процессе так называемой «Промышленной партии».
11 мая 1931 года Андрей Януарьевич Вышинский был назначен Прокурором РСФСР, сменив на этом посту Н. В. Крыленко. Через десять дней он становится одновременно и заместителем Наркомюста РСФСР. Указанные должности Вышинский занимал немногим более двух лет, но этого вполне хватило на то, чтобы о нем заговорили как о новой восходящей звезде на советском юридическом небосклоне. И хотя он продолжал пребывать как бы в тени славы Крыленко, считавшегося первым судебным оратором Страны Советов, он сумел развить очень бурную деятельность. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, судебные процессы, особенно по политическим делам, не обходились без его участия. К этому надо добавить его многочисленные выступления в печати, издание книг и брошюр по юриспруденции, лекции и доклады на разнообразных конференциях и симпозиумах и т. п. Он чутко прислушивался ко всем выступлениям И. В. Сталина, тщательно штудировал его статьи и тут же пытался использовать все идеи вождя в своей практической деятельности. А. Я. Вышинский одним из первых подхватил его тезис о том, что при определенных условиях «законы придется отложить в сторону».
В качестве прокурора республики А. Я. Вышинский принял участие в целом ряде крупных процессов, в том числе и по так называемым «делам о вредительстве». Деятельность его на посту прокурора республики, хотя и непродолжительная, была вознаграждена. Он получил орден Трудового Красного Знамени, которого он удостоился за «выдающуюся работу по разоблачению вредительских и контрреволюционных организаций».
В июне 1933 года после создания Прокуратуры Союза ССР А. Я. Вышинского назначили заместителем Прокурора СССР. Его служба в центральном аппарате продолжалась шесть лет. Прокуратура Союза ССР размещалась в старинном особняке, построенном еще в первой четверти XIX века (в 1824 году) и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 1990-х годов — Пушкинская улица).
С самого начала работы в Прокуратуре Союза ССР Вышинский стал активно использовать судебную трибуну для борьбы с «вредителями», «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя Прокурора Союза ССР, — о некомплектной отгрузке комбайнов, — рассматривалось уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей. Вышинский в своей речи представил это дело, как «отражение еще не оконченной в стране классовой борьбы», а подсудимых выставил проводниками «капиталистической партизанщины» и «враждебных советскому социалистическому строительству настроений, традиций, привычек, взглядов, методов работы», изображая их действия как «прямой заговор группы государственных служащих против советского закона».
3 марта 1935 года постановлением ЦИК СССР А. Я. Вышинский был назначен Прокурором Союза ССР. Он услужливо и безропотно стал выполнять роль «главного инквизитора» вождя. Его меньшевистское прошлое было напрочь предано забвению. За те четыре года, что Вышинский пробыл в должности Прокурора Союза ССР, он сумел полностью завладеть всеми ключевыми позициями юридической науки и практики. Бывший Прокурор РСФСР А. А. Волин, хорошо знавший Вышинского, в беседе с авторами говорил, что в то время «всюду был слышен голос только одного человека — Вышинского». Приказы и указания Прокурора Союза ССР, и ранее не отличавшиеся мягкостью, звучали теперь более твердо и жестко, особенно тогда, когда речь шла о выполнении всякого рода постановлений партии и правительства. Вышинский требовал от своих подчиненных возбуждения уголовных дел и предания суду должностных лиц и граждан за самые разнообразные «преступления»: за сдачу на убой «здорового стельного скота» и утайку скота от учета, за невыполнение планов по мясо- и молокопоставкам и кастрацию племенного скота, за антисанитарное состояние хлебопекарен и сверхурочные работы и т. п.