К этому времени во внешней разведке произошли серьезные изменения. 1 августа 1931 года начальник Иностранного отдела Станислав Мессинг за открытое выступление против действий первого заместителя председателя ОГПУ Генриха Ягоды, сфабриковавшего дело так называемой «Промпартии», а также явившегося инициатором операции «Весна», направленной против военных специалистов Красной армии, был снят с работы и в дальнейшем репрессирован. Руководителем ИНО был назначен выдающийся чекист Артур Христианович Артузов, возглавлявший до этого Контрразведывательный отдел ОГПУ и разработавший свыше пятидесяти оперативных игр с противником, в частности знаменитые операции «Трест» и «Синдикат». Это был сильный и грамотный оперативник, блестящий организатор. Он принял решение укрепить кадры внешней разведки и расширить ее штаты. Предвидя неизбежность прихода Гитлера к власти в Германии и, следовательно, неизбежность новой мировой войны, Артур Артузов еще в ноябре 1932 года отдал распоряжение об усилении нелегальной работы и о подготовке «легальных» резидентур к переходу на нелегальные формы работы в «особый период». Именно по предложению Артура Артузова Наум Эйтингон, которому исполнилось всего 33 года, был назначен руководителем нелегальной разведки.
Как раз в это время состоялось первое знакомство Эйтингона с Судоплатовым, который в то время являлся инспектором отдела кадров, а позже стал его непосредственным начальником и товарищем. В своих мемуарах, опубликованных во второй половине 1990-х годов, Павел Анатольевич следующим образом охарактеризовал своего коллегу: «В ту пору мы не были особенно близки, поскольку он занимал более высокое положение, чем я. В его лице я видел опытного руководителя разведки, уважаемого за успехи в работе и профессиональное мастерство, поэтому ему была поручена работа с нелегалами — святая святых в нашем деле. В те годы этой работе придавалось важнейшее значение, поскольку резидентур под дипломатическим прикрытием было у нас относительно немного. Мы стремились к тому, чтобы наши агенты в случае провала не могли навести западные спецслужбы на советские полпредства за рубежом». А рассказывая о своем товарище как о человеке, Судоплатов писал: «Красивое лицо Эйтингона и его живые карие глаза так и светились умом. Взгляд пронзительный, волосы густые и черные, как смоль, шрам на подбородке, оставшийся после автомобильной аварии (большинство людей принимало его за след боевого ранения), — все это придавало ему вид бывалого человека. Он буквально очаровывал людей, наизусть цитируя стихи Пушкина, но главным его оружием были ирония и юмор. Пил он мало — рюмки коньяку хватало ему на целый вечер. Я сразу же обратил внимание на то, что этот человек нисколько не похож на высокопоставленного спесивого бюрократа. Полное отсутствие интереса к деньгам и комфорту в быту у Эйтингона было просто поразительным… Эйтингон был по-настоящему одаренной личностью и, не стань он разведчиком, наверняка преуспел бы на государственной службе или сделал бы научную карьеру».
Однако и нелегальную разведку органов госбезопасности Эйтингон возглавлял недолго. Уже в конце 1933 года он выезжает в командировки в США, Китай, Францию, Иран, Польшу и Германию, где работает с нелегальных позиций. Основные задачи, которые были поставлены Артузовым перед Эйтингоном в этих странах, заключались в организации работы по совершенствованию деятельности нелегальных резидентур и созданию условий для перевода «легальных» резидентур на нелегальные методы работы в «особый период».
Подробности его работы в этих странах до сих пор находятся под грифом «секретно». И не случайно его непосредственный начальник Артур Артузов, выступая перед сотрудниками внешней разведки и касаясь профессии разведчика, подчеркивал:
«Наша профессия в тени. И не потому, что она не почетна. Просто наш труд не афишируется. Часто наши победы и наши слезы миру не видны. Но я не придаю нашей профессии какой-то исключительности. Считаю, что она в ряду других интересных и трудных профессий.
Наш фронт незрим. Прикрыт секретностью, некой дымкой таинственности. Но и на этом скрытом от сотен глаз фронте бывают свои «звездные минуты». А чаще всего геройство чекиста заключается не в единственном подвиге, хотя история сохранила немало имен оперативных сотрудников, которые в решительный момент проявили наивысшую революционную активность, в критически острых, переломных обстоятельствах делали то, что нужно делать, — а в будничной напряженности, кропотливой работе, в той возвышенно-значительной борьбе, не знающей ни передышек, ни послаблений, в которой он отдает все, что имеет… Это можно назвать «тихим» героизмом. Его повседневно совершают обыкновенные сотрудники…»
Именно таким человеком был Эйтингон, получивший уже большой опыт чекистской и разведывательной работы и отдававший всего себя делу, которому он служил.