Самым близким соратником Вышинского во времена массовых репрессий был Григорий Константинович Рогинский. Он курировал органы НКВД, утверждал почти все обвинительные заключения по так называемым «контрреволюционным» делам, участвовал в подготовительных заседаниях Военной коллегии Верховного суда СССР, а также присутствовал при казни лиц, осужденных к расстрелу. Иногда в отсутствие Вышинского он исполнял обязанности Прокурора Союза ССР. Словом, этот человек был необходим «главному инквизитору» Сталина.
Г. К. Рогинский родился в 1895 году в Бобруйске, в еврейской семье. Кроме него у Константина Григорьевича и Анны Марковны были еще двое детей: сын Борис и дочь Ревекка. До Октябрьской революции Григорий Рогинский нигде не служил, давал в основном частные уроки. В 1918 году 23-летний коммунист Рогинский (он вступил в партию в 1917 году) встретился с Н. В. Крыленко, бывшим тогда председателем Революционного трибунала и Главным обвинителем по политическим делам. Эта встреча во многом определила жизненный путь Рогинского. Молодой человек приглянулся «прокурору пролетарской революции», который взял его своим техническим секретарем. Старательный и способный, Григорий Рогинский быстро завоевал доверие Крыленко и вскоре стал его «правой рукой» (выражение самого Крыленко). В 1921—1922 годах Григорий Константинович выдвинулся в число основных сотрудников трибунала. В последующие годы он работал в системе Верховного суда РСФСР, сначала в Ростове-на-Дону, а затем на Дальнем Востоке. В 1925 году Рогинский вернулся в Москву, где занял должность прокурора уголовно-судебной коллегии Верховного суда РСФСР. Здесь он работал до 1928 года, после чего стал старшим помощником Прокурора республики. Он принимал участие во всех важнейших делах того времени. В частности, выезжал в Ростов, где провел большую работу по подготовке Шахтинского процесса, а затем исполнял на нем обязанности помощника Главного обвинителя. Такую же работу он осуществил и по делу Промпартии. В 1929—1930 годах Рогинский был прокурором Северо-Кавказского края, затем снова вернулся в Москву. В 1931 году вместе с Крыленко он участвовал в процессе меньшевиков. Когда Крыленко занял пост наркома юстиции РСФСР, он сделал Рогинского членом коллегии наркомата.
Рогинский в прокуратуре фактически был заместителем Крыленко. По свидетельству Крыленко, назначение Вышинского прокурором республики Рогинский воспринял «болезненно». «Он считал себя как бы обойденным, — вспоминал Николай Васильевич, — первое время отношения у них с Вышинским не налаживались, и я боялся, что они не сработаются». Однако все обошлось, и в апреле 1933 года Рогинский уже активно помогал Вышинскому в процессе английских инженеров. Вскоре они уже настолько «сработались», что когда в июле 1933 года Вышинский был назначен заместителем Прокурора Союза ССР, то он «потянул» за собой и Рогинского, причем, сделал это без согласия и ведома Крыленко. Последний объяснял это так: «Этот переход был вызван его явным недовольством мной, так как я колебался, выдвинуть ли его кандидатуру в прокуроры РСФСР». Крыленко пояснил, чем вызваны его колебания, дав такую характеристику Рогинскому: «Он был точным, исполнительным работником, хорошим администратором, очень нажимистым и резким (до грубости), но своего «я» политически ни во что не вносил, ни в область политических высказываний, ни в область теоретических дискуссий... Эта ограниченность его политического кругозора, его узость (а может быть, и заведомое скрывание и нежелание высказываться по острым вопросам) была причиной того, что я не выдвинул его кандидатуру в Прокуроры РСФСР».
С этого момента, вспоминал Крыленко, «началось резкое охлаждение наших личных отношений, вскоре перешедшее в очень натянутые, а в 1935 году — холодно-враждебные на почве вмешательства Прокуратуры Союза в управление личным составом прокуроров краев и областей, подчинявшихся одновременно и Прокуратуре Союза и Наркомюсту РСФСР».
В Прокуратуре Союза Рогинский занял должность старшего помощника прокурора, с «отнесением к его ведению отдела общего надзора за законностью» (приказ № 14 подписан Вышинским 31 августа 1933 года). В марте следующего года он в ранге старшего помощника стал уже заведующим сектором по делам промышленности, а 27 апреля 1935 года постановлением ЦИК СССР утвержден в должности второго заместителя прокурора Союза ССР. В эти годы Рогинский был легок на подъем и часто выезжал в командировки в различные местности Союза: Дальневосточный край, Закавказье, на Украину, в Свердловск, Ростов-на-Дону и другие. В качестве заместителя Прокурора Союза ССР он курировал первое время уголовно-судебный отдел и Главную военную прокуратуру. В марте 1936 года Вышинский поручил ему «систематический контроль и руководство работой» управлений и отделов по «вопросам улучшения качества предварительного расследования преступлений». Для проведения этой работы в его распоряжение был выделен ряд ответственных сотрудников аппарата, в том числе Строгович, Шейнин, Тадевосян.