Первым начальником разведки был назначен, как это следует из пункта 4 приказа № 169, Давыдов. Его настоящее имя было Давтян Яков Христофорович. Он был профессиональным революционером. В 1908 году в Петербурге его арестовала полиция, но выпустила под залог, и он выехал в Бельгию, где учился в Брюссельском политехническом институте. В тоды Первой мировой войны Давтян был помещен немцами в лагерь для интернированных и вернулся в Россию только после революции. Участвовал в Гражданской войне. Затем выполнял ряд ответственных поручений по линии Народного комиссариата иностранных дел, в частности выезжал во францию с миссией Красного Креста для возвращения русских воинов на родину. Давтяна лично знали Ленин и Дзержинский. В 1920 году он занимал пост заведующего отделом Прибалтийских стран и Польши в НКИД. Дзержинский считал его наиболее подходящим человеком на должность руководителя разведки. Став им под фамилией Давыдов (в целях конспирации, так как фамилия Давтян была известна иностранцам), он продолжал одновременно работать в НКИД. В 1922 году Давтян оставил разведку в связи с назначением полпредом в Литву и с тех пор работал только по дипломатической линии.
На посту начальника ИНО Давтяна — Давыдова на короткое время сменил Могилевский, а затем Михаил Абрамович Трилиссер (1922–1930). Он также был старым партийным подпольщиком. Провел 8 лет на каторге и в ссылке. В годы Гражданской войны был военным комиссаром и руководителем ЧК в Сибири и на Дальнем Востоке. В 1918 году с ним произошел уникальный случай, когда он попал в плен к бандитам и был ими повешен. Но напавшие в момент казни партизаны отбили Трилиссера и сняли его с дерева, на суку которого он уже висел. К удивлению партизан, а потом и врачей, Трилиссер оказался еще живым. В годы, когда Иностранным отделом руководил Трилиссер, происходило становление советской разведки. Отличительной чертой этого периода было осуществление вербовок «под чужим флагом», широкое привлечение к работе в разведке эмигрантов и, в силу малочисленности кадровых сотрудников, организация самостоятельных агентурных групп и использование агентов-вербовщиков.
Трилиссер разработал «Положение о Закордонном отделении (резидентуре) Иностранного отдела ВЧК», в котором были сформулированы основные задачи, естественным образом вытекавшие из создавшейся ситуации:
«Вся разведывательная работа в иностранных государствах проводится с целью:
— выявления на территории каждого государства контрреволюционных групп, ведущих деятельность против РСФСР;
— тщательного разведывания всех организаций, занимающихся шпионажем против нашей страны;
— освещения политической линии каждого государства и его экономического положения;
— добывания документальных материалов по всем указанным направлениям работы».
Борьба с контрреволюцией за рубежом, так называемая «белая линия», рассматривалась-руководством советской разведки в качестве главной задачи вплоть до конца 30-х годов, пока не была окончательно подорвана деятельность РОВСа (Российский общевоинский союз).
Белая эмиграция тоже не сидела сложа руки. В архиве руководителя агентурной работы белоэмигрантской разведки Владимира Григорьевича Орлова имеется справка об организации разведывательной деятельности против советской власти. В ней говорится, что после окончания Гражданской войны разведывательный центр был перенесен в местечко Стренски-Карл овцы под Белградом и разведкой руководили генералы Миллер, Шатилов и Станиславский. С 1923 года разведцентр, как и все руководство белоэмигрантских организаций, обосновался в Париже, и в последующие годы им руководили генерал Кутепов и князь Трубецкой, причем Кутепов ведал главным образом подрывной работой — организацией бунтов и восстаний «против коммунистов», Сергей Николаевич Трубецкой руководил информационно-разведывательной деятельностью. «Во главе казачьего дела, — пишет далее в справке Владимир Орлов, — был поставлен генерал Краснов. Все три подчинены Великому князю Николаю Николаевичу». Сам Орлов заведовал агентурной сетью в Европе с выходом на разведслужбы Англии, Франции, Германии и лимитрофов (так назывались сопредельные с Россией на Западе государства). Содержание агентурного аппарата обходилось белоэмигрантам в 50 600 фр. франков в год.
В 20-х годах ИНО (именуемое с 1922 года ИНО ОГПУ) сумел осуществить агентурное проникновение практически во все наиболее активные белоэмигрантские формирования: Народный союз защиты родины и свободы (Савинков), Российский общевоинский союз (РОВС), «Братство русской правды» (БРП), Национально-трудовой союз (НТС) — и контролировал каналы их связи с агентурой в СССР. Известны совместные операции КРО (контрразведывательный отдел) и ИНО ОГПУ «Синдикат-2» (вывод в Россию Савинкова) и «Трест» (проникновение в монархические организации и вывод в СССР английского разведчика Сиднея Рейли). Но совершенно неизвестны другие важные операции советской разведки по так называемой «белой линии»: