28 ноября 1936 г., спустя два месяца после смещения Г.Г. Ягоды с поста, в ходе проведенной новым наркомом руководителя органов госбезопасности Н.И. Ежовым реорганизации НКВД, из Особого отдела был выделен Контрразведывательный отдел ГУГБ (25 декабря того же года отделам были присвоены номера; отдел контрразведки до февраля 1941 г. именовался 3-м отделом). М.И. Гай, называвший себя и своих коллег «жандармами социализма», был переведен начальником управления НКВД в Иркутск; контрразведку возглавил бывший начальник Экономического отдела ГУГБ комиссар госбезопасности 2 ранга Л.Г. Миронов. Период его руководства был непродолжителен. В апреле-мае 1937 г. Миронов возглавлял специальную группу НКВД в Сибири и на Дальнем Востоке, направленную для «выявления и разгрома шпионско-вредительских троцкистских и иных групп на железных дорогах… и в армии»; 14 июня того же года был арестован (сыграла роль его прежняя близость к Прокофьеву и Ягоде).
Новым начальником 3 отдела стал (по совместительству) заместитель наркома внутренних дел комиссар госбезопасности 3-го ранга В.М. Курский, в 20-х гг. руководивший контрразведкой в полномочном представительстве ОГПУ по Северо-Кавказскому краю, один из руководителей операции «Заморское», а с декабря 1936 г. по июнь 1937 г. являвшийся руководителем 4-го (секретно-политического) и 1-го (охрана руководителей партии и правительства) отделов ГУГБ НКВД. В КРО он проработал меньше месяца. 8 июля, через шесть дней после награждения орденом Ленина, В.М. Курский застрелился. 3-й отдел возглавил (в качестве временно исполняющего должность) комиссар
В то же время продолжалась борьба со шпионажем, хотя ее эффективность была снижена участием КРО в политических репрессиях. Контрразведка НКВД в 1936–1938 гг. наибольших результатов добилась в пресечении деятельности германской разведки и ее резидентов в Белоруссии, Москве и Ленинграде, легально работавших в СССР в качестве немецких специалистов. В Средней Азии, Донбассе, Днепропетровской области УССР и Приморье резидентурами, как было установлено контрразведчиками, руководили германские консулы.
На Дальнем Востоке контрразведчики пресекали попытки японских спецслужб перебросить через советскую границу агентов, завербованных из числа эмигрантов и осевших в Маньчжурии («Братство русской правды» и «Национальный союз нового поколения»). Сотрудники японского посольства в Москве и консульств в Новосибирске, Хабаровске, Владивостоке и других городах предпринимали попытки организации разведывательной сети, которые были пресечены в 1935–1937 гг. в ходе проведенных контрразведкой операций. После принятого 10 октября 1937 г. с санкции Политбюро ЦК ВКП(б) оперативного приказа НКВД, согласно которому сотрудникам КРО предлагалось «немедленно арестовывать всех советских граждан, связанных с личным составом диппредставительств и посещающих их служебные и домашние помещения» и требовалось обеспечить «беспрерывное наблюдение» за всеми сотрудниками посольств Германии, Японии, Италии, Польши, в СССР было закрыто большое количество консульств этих стран.
В ходе очередной реорганизации НКВД 3-й отдел 28 марта 1938 г. вошел в состав 1-го управления НКВД (управления госбезопасности), а его новым начальником, вместо перешедшего на работу в 6-й отдел Минаева-Цикановского (за год своего руководства контрразведкой он так и не был утвержден в должности начальника, оставшись «и.о.»), стал комиссар госбезопасности 3-го ранга Н.Г. Николаев-Журид, ранее уже работавший в КРО-ОО, непосредственно перед назначением возглавлявший военную контрразведку. По совместительству Н.Г. Николаев-Журид являлся заместителем начальника 1-го управления НКВД — 1-го заместителя наркома комкора М.П.Фриновского.