Гарблер проработал с Орловым до 1955 года. В 1956 году Орлова перевели во Франкфурт, где он вел вербовочные разработки граждан, ведущих переписку с СССР. Жена Орлова Элеонора также работала в американской разведке и занималась перлюстрацией почты между СССР и ФРГ. Проживали они на конспиративной квартире. На работе у Орлова возник конфликт с другим русским Николаем Козловым, который заподозрил его в связях с советской разведкой.
Подозрения, хотя и малообоснованные, поддержал их непосредственный руководитель кадровый сотрудник ЦРУ Саша Соголов. В результате Орлову, как бы обнадежив его, предложили поменять место и выехать в США. Он согласился и Орловы в январе 1961 года прибыли в Вашингтон. Телефоны, которые ему дали для связи с ЦРУ, долго не отвечали, и когда он дозвонился, то в работе ему отказали. Оказавшись без денег и американских паспортов, только с «грин кард» для иммигрантов, хорошо оплачиваемую работу найти было трудно.
Чтобы хоть как-то прокормить семью, Орлов устроился водителем почтового грузовичка для развозки столичной газеты «Вашингтон пост». Работа была трудная, малооплачиваемая, начиналась с четырех утра. С трудом сводили концы с концами. В семье возникли разногласия: жена Элеонора настаивала на возвращении в Германию и предлагала временно пожить у ее матери, Орлов же надеялся устроить жизнь в Вашингтоне. Не придя к согласию, Элеонора с двумя детьми уехала в Западную Германию. Но мать в дом ее не впустила, заявив, что ее муж «русский шпион» и ей «о нем все рассказали». Пробыв в Германии около года, Элеонора вернулась в Вашингтон. Накопив из скудной зарплаты небольшую сумму денег, в 1964 году они сумели купить скромный дом в ближайшем пригороде Вашингтона Александрии и открыли в нем мастерскую по изготовлению и продаже рам для картин и фотографий.
Примерно через три года после появления Голицына в США ЦРУ, проверяя сотни вариантов идентификации «крота» Саши, вышло на Орлова. Он работал в Берлине и Западной Германии, его иногда звали Сашей, фамилии Копацкий и Койшвиц, которыми он прикрывался как работник ЦРУ, начинались с «К», и вдобавок ко всему он был славянского происхождения. Все это контрразведкой расценивалось как серьезные улики против него. Дополнительные подозрения возникли также при изучении материалов о работе Орлова во время войны в штабе «Валли-I». Как было известно американской разведке, советские разведывательные органы в годы войны провели успешную операцию «Монастырь» по обезвреживанию агентуры Абвера. В этой операции активно участвовал советский агент Александр Демьянов (оперативный псевдоним «Гейне») , которому, как позже вспоминал бывший в то время шефом разведки по Советскому Союзу генштаба сухопутных войск гитлеровской Германии Гелен, немцы присвоили кодовое имя «Макс». Операция «Монастырь» переросла в весьма крупную радиоигру с немцами, в процессе которой дезинформация, подготавливаемая Генштабом Красной Армии, сыграла важную роль в успешном завершении ряда крупных сражений. После войны американская разведка рассматривала Макса как удачно внедренного в Абвер советского агента, в то время как немцы продолжали считать его своим главным источником стратегической информации о планах Советского Верховного Главнокомандования. По мнению контрразведки ЦРУ, Орлов, работая в «Валли» принимал участие на первом этапе операции «Монастырь», когда велось выявление агентуры Абвера, забрасываемой на территорию СССР.
Орлов был взят в разработку управлением контрразведки ЦРУ. К середине 1964 года Энглтон решил, что собранных материалов вполне достаточно, чтобы передать их в ФБР для дальнейшей разработки, получения улик, документирования оперативных сведений и привлечения к уголовной ответственности за шпионаж в пользу СССР. Учитывая серьезность материалов и значимость, которая придавалась выявлению «крота» Саши, директор ФБР Гувер поручил вести дело начальнику вашингтонского контрразведывательного отделения Куртленду Джонсу. Но вскоре наступило разочарование — углубленная проверка значительную часть подозрений не подтвердила и ничего нового не принесла. Поэтому в марте 1965 года в надежде «расколоть» Орлова и его жену, ФБР вышло на них напрямую и подвергло изнуряющим допросам. Вся семья находилась под открытым наружным наблюдением, в доме периодически проводились негласные обыски.