Не обошли стороной и покровителя Люшкова — Леплевского. В его адрес Балицкий не жалел громких слов и подчеркивал, что
Прошло в сего шесть лет. И Леплевский с Балицким, с травленные Сталиным и Ежовым, терзали друг друга, как пауки в банке, а спецгруппы НКВД рыскали по всей стране и вылавливали их выдвиженцев. Но тогда, в начале 1930-х гг., Украина и они «гремели» своими результатами в борьбе с контрреволюцией. И этот гром услышали в Кремле.
Первым взяли в Москву Леплевского. Вслед за ним, 17 августа 1931 г., в центральный аппарат ОГПУ СССР отправился Люшков и там за короткий срок вырос до заместителя начальника одного из ведущих отделов — Секретно-политического отдела (СПО) ГУГБ НКВД СССР, занимавшегося оперативной разработкой политической и внутрипартийной оппозиции. За пять лет совместной работы у него сложились близкие отношения с начальником отдела Г. Молчановым, игравшим одну из ключевых ролей в планах Сталина по ликвидации партийной оппозиции. Впоследствии эта близость с Молчановым и Леплевским сыграла роковую роль в судьбе Люшкова, а пока он шел в гору.
29 ноября 1935 г. ему было присвоено генеральское звание — комиссар госбезопасности 3-го ранга. Не прошло и года, как 29 августа 1936 г. его назначили на важнейший участок — начальником УНКВД громадного Азово-Черноморского края, площадь которого занимала территории нынешней Ростовской области и Краснодарского края. Направляя Люшкова в Ростов, глава НКВД СССР Г. Ягода преследовал вполне конкретную цель — ослабить позиции своего возможного соперника, полпреда ОГПУ на Северном Кавказе Евдокимова. Но уже в сентябре его сняли с должности, и место наркома занял очередной выдвиженец Сталина Ежов. Но Люшков остался на плаву. Новый нарком поставил перед ним новую задачу: убрать авторитетного секретаря крайкома Б. Шеболдаева и «зачистить» местные партийные организации, «сильно засоренные троцкистским и оппортунистическим элементом».
Люшков сразу понял, куда подул ветер, и с учетом прошлого опыта принялся плести вокруг Шеболдаева плотную оперативно-осведомительскую сеть. Но тот оказался тертым калачом и по-крупному нигде не подставился. Тогда Люшков зашел к нему с другой стороны: начал разработку его ближайшего окружения — Белобородова и Глебова. Осведомители ловили каждое неосторожно оброненное ими слово в адрес Сталина и критические высказывания в адрес «генеральной линии партии». Сын портного знал, как «шить» политические дела, и к ноябрю 1936 г., помимо троцкистов и зиновьевцев Белобородова и Глебова, в тюрьме УНКВД оказалось свыше двухсот человек руководящего партийно-хозяйственного актива.
Результаты проделанной Люшковым «работы» оценили не только в наркомате НКВД, но и выше. 2 января 1937 г. Политбюро ЦК ВКП(б) приняло специальное постановление «Об ошибках секретаря Азово-Черноморского края т. Шеболдаева и неудовлетворительном политическом руководстве крайкома ВКП(б)». После такого разгромного постановления судьбы Белобородова, Глебова и остальных «коммунистов-перерожденцев» были решены. Не избежал их участи и сам Шеболдаев. Сработала известная схема: сначала его «задвинули» в курский обком, потом сняли с должности, исключили из партии и репрессировали.
Казалось бы, Люшков снова на коне. Но тут на место Шеболдаева назначили Евдокимова, под которого по поручению предыдущего наркома Ягоды он копал. Тучи вновь сгустились над Люшковым. На февральском пленуме ЦК ВКП(б) Ежов обвинил бывшего его покровителя Ягоду в том, что тот позволил «предателям» и «вредителям» проникнуть в центральный аппарат органов. Люшков оказался в подвешенном состоянии и, страхуя себя от обвинений в связях с «врагами народа», сделал ловкий ход: одним из первых выступил застрельщиком в изобличении перерожденцев-предателей в рядах сотрудников органов госбезопасности и «развернул» дела на своих подчиненных, начальника Таганрогского горотдела УНКВД Е. Баланюка и Новочеркасского райотдела УНКВД Д. Шаповалова.
Это его «начинание» подхватили ретивые начальники из других управлений и завалили Центр докладами о разоблаченных «предателях». Кровавое колесо репрессий в органах безопасности сделало свой очередной поворот.
Наряду с политической задачей — «зачисткой» парторганизации края — перед Люшковым стояла и другая, не менее важная задача, связанная с оперативным обеспечением безопасности Сталина во время его пребывания на спецобъектах — черноморских госдачах. Одна из них строилась в Сочи — «Сосновая роща».