По сообщениям газет того времени, когда к нему, как к главе города явились представители ростовских-на-Дону трудящихся и заявили, что рабочие голодают, Петерс им ответил: «Разве это голод, когда ваши ростовские помойные ямы битком набиты разными отбросами и остатками? Вот в Москве помойные ямы совершенно пусты и чисты – будто вылизаны – вот вам голод!».
В феврале 1922 г. Петерс был отозван в Москву и назначен членом Коллегии и начальником Восточного отдела ГПУ. Работая в Восточном отделе, Петерс в 1925 году был главным инспектором погранвойск ОГПУ. К 10-летию ВЧК в декабре 1927 он был награжден орденом Красного Знамени.
31 октября 1929 г. Я. X. Петерс был освобожден от обязанностей члена Коллегии и начальника Восточного отдела ОГПУ. С 1930 г. был членом Президиума Центральной контрольной комиссии ВКП(б). В 1930–1934 гг. – председатель Московской контрольной комиссии ВКП(б).
Здесь начинается совсем другая история и другая работа, далекая от трибун, перестрелок и партийных дискуссий, и появляется совсем не знакомый нам Петерс, который, по словам его друга Алксниса (будущего командующего ВВС СССР), незадолго до смерти Дзержинского дал тому слово «никогда не выпускать из рук тех незримых нитей, что защищают страну не хуже армий и укрепленных границ».
Член Центрального Комитета партии, председатель Партийной Контрольной комиссии Яков Петерс в тридцатые годы не подписывал секретных директив. Разработчики тайных операций лишь в редких случаях знали, чьи идеи они воплощают. Знали только Сталин и еще несколько человек…
Сталин внешне всегда прекрасно относился к Петерсу, говорил о нем как о «последнем романтике революционных боев». На XVI съезде, когда все громили Бухарина, Рыкова, Томского, простил ему «энергичное молчание» по поводу «правой опасности» и развитие идеи о контроле масс. Похоже, простил и большее – участие в «заговоре» Тухачевского. Или не простил?
Арестован 26 ноября 1937 г. 25 апреля 1938 по обвинению в участии в контрреволюционной организации осужден ВК ВС СССР к высшей мере наказания и в тот же день расстрелян.
Но со смертью Якова Петерса связана особая история. В официальной справке, полученной женой после его реабилитации (вторая жена Петерса Антонина Захаровна, умерла в 1986 году) стояла дата смерти – 1942 год. По другим документам – расстрелян в 1938-м. Такое случалось – людей расстреливали раньше, чем сообщалось в справках об их смерти. Однако…В самом начале войны, в августе 1941 года, дочь Петерса Мэй (от первого брака с Мейзи Фримен – она приехала в Россию в 1928 году, пятнадцатилетней), работавшая тогда в английском посольстве, рассказала Антонине Захаровне Петерс, что «один товарищ, не назвавший себя», через жену сотрудника посольства просил передать ей такую фразу: «Ваш отец жив и продолжает работать».
Поздним вечером одного из последних октябрьских дней 1942 года самолет доставил из прифронтовой зоны тело убитого, судя по форме, старшего лейтенанта, голова и плечи которого были обернуты кожаной курткой. За ним специально вылетали к фронту два сотрудника военной контрразведки. Тело было приказано отвезти на вскрытие. Начальник отдела, отдававший приказ, обронил: «Ничему не удивляйтесь». Перед вскрытием было произведено опознание, на которое приехал только один человек. При опознании присутствовали также врач и комиссар НКВД третьего ранга. Офицеры-контрразведчики, доставившие убитого в Москву, находились в соседнем помещении. Один из них и оставил это свидетельство, в котором фигурируют два имени – того, кто приехал на опознание, и того, кто лежал перед ним на анатомическом столе. Первого звали Сталин; второго – Петерс.
После проверки, проведенной Главной военной прокуратурой Петерс был реабилитирован 3 марта 1956 г. ВК ВС СССР как старый революционный боец за счастье человечества.