Заместителем Николаева-Журида был его сослуживец по Ростову-на-Дону майор госбезопасности М.А. Листенгурт. 29 сентября того же года, после восстановления ГУГБ, Н.Г. Николаев-Журид остался начальником 3-го отдела, перестав при этом быть заместителем начальника ликвидированного 1-го управления.
Заместителем начальника ГУГБ стал приехавший из Грузии, вместе с новым 1-м зам. наркома и начальником ГУГБ Л.П. Берия, бывший завотделом ЦК КП(б) Грузии В.Н. Меркулов. Через месяц, 25 октября 1938 г., Меркулов сменил арестованного в тот же день Николаева-Журида (был арестован и Листенгурт) на посту руководителя контрразведки. Но он также недолго проработал на этом посту. 17 декабря Меркулов был назначен 1-м заместителем нового наркома Л.П.Берия — начальником ГУГБ. Начальником 3-го отдела стал также выходец из Тбилиси комиссар госбезопасности 3-го ранга В.Г. Деканозов, за две недели до этого возглавивший 5-й (иностранный) отдел ГУГБ. 17 же декабря Деканозов стал по совместительству заместителем начальника ГУГБ, оставаясь при этом руководителем разведки. Такое совмещение постов было единственным случаем в истории советских органов госбезопасности.
В марте 1939 г. Деканозов на XVIII съезде партии был избран кандидатом в члены ЦК; 13 мая 1939 г. покинул НКВД, перейдя на дипломатическую работу — заместителем нового наркома иностранных дел В.М. Молотова (сменившего М.М. Литвинова).
Начальником 3-го отдела 25 июня того же года стал майор госбезопасности Т.Н. Корниенко, выходец из рабочих, после окончания аспирантуры Института востоковедения имени Н. Нариманова работавший в Особом Контрразведывательном отделе ОГПУ-ГУГБ НКВД, где прошел путь от помощника оперуполномоченного до заместителя начальника отдела. В период его руководства отделом (на декабрь 1939 г.) структура советской контрразведки выглядела следующим образом:
1-е отделение (Германия, Венгрия);
2-е отделение (Япония, Китай);
3-е отделение (Англия);
4-е отделение (Франция, Италия, Бельгия, Швейцария, Испания);
5-е отделение (Румыния, Греция, Болгария, Югославия);
6-е отделение (работа по оккупированной Польше);
7-е отделение (Финляндия, Швеция, Норвегия, Дания);
8-е отделение (САСШ и страны Южной Америки);
9-е отделение (Турция, Иран, Афганистан);
10-е отделение (белогвардейские контрреволюционные элементы);
11-е отделение (Латвия, Эстония, Литва);
12-е отделение (НКИД, полпредства и консульства);
13-е отделение (ИККИ, МОПР);
14-е отделение (НКВТ, торгпредства);
15-е отделение (Интурист и ВОКС, частично охрана дипкорпуса ОДК): политотдел ОДК;
16-е, 17-е, 18-е отделения ОДК.
Как видим, структура контрразведки усложнилась по сравнению с предыдущим периодом. Во многом это было связано с начавшейся Второй мировой войной.
Главным противником советской контрразведки были спецслужбы нацистской Германии, которые после подписания в августе 1939 г. советско-германского пакта о ненападении усилили работу против СССР с легальных позиций. Немецкие разведчики вели ее под прикрытием различных комиссий по переселению немцев в Германию с территорий, отошедших к СССР, торговых делегаций. Так, в январе 1940 г. среди членов германской торговой делегации был выявлен с помощью советской военной разведки сотрудник немецкой разведки. КРО УНКВД Ленинградской области были зафиксированы факты систематической посадки на мель вблизи Кронштадтской военно-морской базы германских торговых судов. Работа по противодействию немцкой разведке в 1939–1940 гг. велась в основном в Западной Украине, Западной Белоруссии, республиках Прибалтики, вошедших в состав СССР. В этих регионах число арестованных органами госбезопасности иностранных агентов возросло с 40 до 62 % от их общего количества, хотя там проживало немногим более 10 % населения СССР.
Руководство НКГБ принимало меры по улучшению агентурно-осведомительной службы. Приказами по ведомству предписывалось, чтобы оперативный сотрудник руководил работой только резидента, который осуществлял связь с прикрепленными к нему осведомителями; агенты, т. е. секретные сотрудники, участвовавшие в оперативных разработках, должны были находиться на личной связи только с оперативным сотрудником. В оставшиеся до начала войны месяцы НКГБ не удалось действенно перестроить агентурно-осведомительную сеть, годами осуществлявшую тотальное наблюдение за огромным количеством рядовых граждан. Но контрразведывательный режим в стране был все же усилен: более эффективно, используя секретное фотографирование, стала работать наружная разведка, улучшилась деятельность радиоконтрразведывательной службы, широко использовалась специальная техника (прослушивание), повысились требования к работе службы политконтроля и оперативного учета.