Распоряжением по Наркомюсту РСФСР от 6 августа 1931 года Шейнин был назначен следователем по важнейшим делам Прокуратуры РСФСР, а спустя два года (16 сентября 1933 года) занял равноценную должность в Прокуратуре СССР. В 1934 году Лев Романович вошел в число следователей, которому выпала «честь» заниматься делом об убийстве С. М. Кирова, о чем мы уже рассказывали выше.
В ноябре 1936 года, когда Совнарком утвердил новую структуру Прокуратуры СССР, был создан и следственный отдел, который возглавил тридцатилетний Шейнин. На этой высокой должности он пребывал до 27 декабря 1949 года.
Не оставлял Лев Романович и литературного труда. Начиная с 1928 года один за другим в периодической печати стали появляться его рассказы, очерки, зарисовки. Сюжеты для своих произведений он черпал из богатой следственной практики.
В 30-е — 50-е годы имя Шейнина было известно довольно широко. Непритязательные «Записки следователя», появившиеся в 1938 году и выдержавшие несколько изданий, при дефиците литературы детективного жанра (тогда ведь у нас не печатали ни Агату Кристи, ни Жоржа Сименона, не говоря уже о менее именитых авторах) пользовались неподдельным интересом и охотно раскупались. Потом появились книги: «Отец Амвросий», «Лицом к лицу», «Военная тайна», «Ответный визит» и другие. Его пьесы, как написанные в соавторстве с братьями Тур, так и без них, имели успех у зрителей, а за сценарий фильма «Встреча на Эльбе» он даже удостоился Сталинской премии 1 степени. В 1939 году Шейнина приняли в Союз писателей СССР.
Из правительственных наград он имел орден Трудового Красного Знамени (1937 год), орден Ленина (1945 год), орден Отечественной войны 1-й степени (1947 год) и медали.
При Вышинском Шейнин стал фактически его правой рукой по всем политическим делам. Сам он писал: «Я в качестве помощника А. Я. Вышинского принимал участие в проведении всех без исключения правотроцкистских процессов и активно участвовал в разгроме правотроцкистского блока». Это, надо полагать, спасло его самого от участи многих прокуроров, попавших в жернова сталинских репрессий в конце 30-х годов. Одного за другим ставили к стенке прокуроров-«заговорщиков». В некоторых делах фигурировало и имя Льва Шейнина. Однако тогда ход этим показаниям не дали, отложив до лучших времен. О них вспомнили только спустя 10 лет. Шейнин продолжал пользоваться благосклонностью власть предержащих, получал награды, выезжал в заграничные командировки (во время войны), выпускал книги, писал пьесы и сценарии фильмов. Наряду с этим сажал в тюрьмы людей, допрашивал их по ночам и с пристрастием, как того требовали обстоятельства времени, наставлял подчиненный ему следственный аппарат страны на применение жесточайших репрессий по уголовным и особенно по политическим делам. Он жил широко и роскошно. Был вхож в «высшие круги» писателей, артистов, художников, ученых, спортсменов, политиков.
Шейнин сполна пользовался всеми благами, которые ему предоставляли служба в прокуратуре и литературные занятия, приносившие немалые гонорары. В послевоенные годы среди московских интеллектуалов была очень популярна такая стихотворная байка: «На берегах литературы пасутся мирно братья Туры, и с ними, заводя амуры, Лев Шейнин из прокуратуры». Он имел престижную тогда машину «Победа», великолепную двухэтажную дачу в Серебряном бору, солидную сберкнижку. Одних только гражданских костюмов и пальто (не считая форменных) у него насчитывалось десятка полтора, что по полуголодному послевоенному времени было совсем неплохо. Шейнин был женат, но не чуждался и других женщин. Однако во время следствия он даже обиделся, когда один из приятелей, характеризуя его личность, сказал, что Шейнин вел распутный образ жизни и делал это с таким цинизмом, что все выглядело как «домашний публичный дом». Шейнин возразил: «Я сожительствовал с рядом женщин, но в публичный дом свою квартиру не превращал».