В июле 1932 года А. А. Волина переводят в Карелию заведующим сектором народного образования и культуры обкома партии, а весной 1933 года он получает новое назначение — на должность прокурора города Петрозаводска, которое никак не входило в его личные планы и, в конце концов, круто изменило всю его дальнейшую жизнь. На этом более чем боевом участке он прослужил два года.
В сентябре 1935 года А. А. Волин становится помощником прокурора Володарского района Ленинграда, а в июне 1936 года — прокурором одного из центральных районов города — Смольнинского. Здесь располагались Ленинградский обком партии, Ленсовет, другие городские и областные организации. Это, с одной стороны, придавало вес району, а с другой — налагало особую ответственность на его руководителей, в том числе и на прокурора. Не оставил Анатолий Антонович и свою преподавательскую деятельность — продолжал читать лекции по политэкономии.
В своих мемуарах А. А. Волин пишет: «Штат прокуратуры был невелик: два помощника, два следователя и канцелярия. Поэтому удалось быстро установить в коллективе нормальные деловые отношения. Первым шагом было знакомство с районом, его особенностями, где наиболее часто совершались правонарушения. Это были Московский вокзал, предприятия на окраине района, склады, питейные заведения и т. п. Установление тесных связей с районными властями было также одним из важных моментов в работе».
Энергичная работа смольнинского прокурора была замечена руководством Прокуратуры РСФСР. Волина вызвал к себе прокурор республики Николай Михайлович Рычков и предложил ему место своего заместителя. Случай, конечно, довольно редкий. Чтобы человека, имевшего стаж прокурорской работы чуть более четырех лет и занимавшего всего-навсего должность районного прокурора, назначить сразу же заместителем прокурора крупнейшей республики — надо было быть очень смелым и дальновидным руководителем. Именно этими качествами и обладал прокурор республики Рычков. И он не ошибся. 1 января 1938 А. А. Волин стал заместителем Прокурора РСФСР.
Анатолий Антонович Волин переехал в Москву. Он поселился в просторной и удобной квартире в доме № 25 по Новинскому бульвару (рядом с Домом-музеем Ф. И. Шаляпина). Недавний районный прокурор вынужден был взвалить на свои плечи тяжелейшую ношу ответственности за всю прокурорскую систему республики. Начинать работу в Прокуратуре РСФСР Волину пришлось в очень непростой обстановке. Те годы он вспоминает так:
«Меня не коснулась роковая круговерть тех лет, но я насмотрелся, как судьба играет человеком, когда исчезает то один, то другой партийный, советский или иной деятель. Иногда приходила в голову мысль: а надолго ли я прописан в Москве? Но прошло немного времени и я уже вполне мог ощутить, что Москва живет двойной политической жизнью — одной, официальной, на виду, другой — скрытой, в кругу семьи или друзей. Неистовствовал глубоко ложный накал бдительности, порой переходящий в явный психоз, повсюду выискивались враги народа и их пособники, повсюду шла острая борьба с так называемым либерализмом и примиренчеством к врагам народа, вызывая обстановку, которой пользовались действительные враги народа, карьеристы, различного рода проходимцы да лица, сводившие личные счеты. Подметные письма, клевета, ложные доносы стали распространенным оружием в избиении честных людей. Всякий доносчик, «боровшийся» с либерализмом и примиренчеством, считался надежным, бдительным человеком, а сомневающийся, а тем более защищающий, считался подозрительным, если не прямым пособником врагов народа. Все это наводило на многих людей страх и неуверенность в завтрашнем дне, страх за жизнь мужей, отцов, братьев, сестер».
А. А. Волин был заместителем прокурора республики полтора года. 25 июля 1939 года приказом Прокурора Союза ССР М. И. Панкратьева Анатолий Антонович назначается Прокурором РСФСР. Сразу навалилась масса неотложных дел. В их число он включил и вопрос о подыскании подходящего здания для прокуратуры. Для того, чтобы «пробить» его, ему пришлось приложить немало труда и настойчивости. Для аппарата республиканской прокуратуры он присмотрел здание под № 13 на Кузнецком мосту. Совет Народных Комиссаров РСФСР принял решение предоставить его прокуратуре.
Однако проблема заключалась в том, что там размещалось несколько учреждений: прокуратура Московской области, два народных суда, редакция газеты «Труд» и даже Шахматный клуб Ботвинника. После долгих утрясок, а также преодоления «вето” тогдашнего первого секретаря Московского городского комитета ВКП(б), кандидата в члены Политбюро Щербакова, вопрос был решен положительно. Правда, Волину пришлось лично встречаться с «хозяином» Москвы и долго убеждать его в необходимости перемещения прокуратуры республики в отдельное здание. Только после этого все уладилось.