С марта 1921 г. — политконсультант Оргчасти ПУ РККФ. С июля 1921г. — политинспектор, начальник Оргинструкторского отдела МОУВУЗа. Работал секретарем Н. К. Крупской, затем в аппарате ИККИ.
С 1922 г. — сотрудник ОМС (разведка) Коминтерна. В апреле 1922 г. переведен в организацию прикрытия — НКИД СССР: секретарь Отдела дипкурьеров, а затем помощник зав. Правовой частью ЭКО.
В 1924—1927 гг. — на закордонной разведывательной работе под дипломатическим прикрытием. С 1924 г. — зав. дипкурьерской частью, секретарь, врид зав. консульством, консульский агент в Либаве и Риге (Латвия). По совместительству резидент ОМС ИККИ в Риге. С апреля 1925 г. — под прикрытием секретаря, а затем генконсула — резидент ОМС в Константинополе.
В 1927—1929 гг. выполнял специальные задания ОМС с нелегальных позиций в Китае, Германии, Австрии, Франции и других странах, используя фамилию Гримериль. Находясь на нелегальной работе в Германии под прикрытием студента-беженца из Индии, защитил в 1926 г. диплом инженера в Политехническом институте в Йене, организовал несколько агентурных групп. С апреля 1927 г. — уполномоченный ОМС в Шанхае, а с 1928 г. — в Берлине.
С февраля 1929г.— секретарь Правления и зав. издательством «Огонек», затем редактор" журнала «Изобретатель».
С июня 1931г.— сотрудник особого резерва ИНО ОГПУ: на закордонной работе во Франции и США. По возвращении в СССР с октября 1935 г. — помощник нач. отделения ИНО 7-го отдела ГУГБ НКВД СССР.
С июля 1936 г. — в особом резерве 7-го отдела ГУГБ — резидент в Италии. Там сблизился с молодым физиком Бруно Понтекорво, привлек его к сотрудничеству. Летом 1938 г. отозван в Москву.
В июле 1938 г. без объявления причин снят с работы в 5-м отделе ГУГБ и направлен в распоряжение ГУЛАГ НКВД СССР, где получил предложение отправиться на работу в Воркуту. В связи с острой болезнью почек от предложения отказался. В итоге в сентябре 1938 г. уволен из органов по болезни и назначен завотделом и заместителем председателя ВОКС. В октябре 1939 г. восстановлен на учете чекистского запаса.
В октябре 1941 г. восстановлен на службе в 1-м управлении НКВД СССР и в ноябре 1941 г. направлен в качестве легального резидента в Сан-Франциско (Харон) под прикрытием вице-консула генконсульства СССР. Принимал активное участие в разведывательном обеспечении советского ядерного проекта. Заслугой Харона является, что ему уже в декабре 1941 г. первому удалось войти в близкий, доверительный контакт с Р. Оппенгеймером, дать его психологический портрет. В июле 1944 г. завершил работу в Сан-Франциско и сдал дела своему преемнику Григорию Каспарову. В ноябре 1944 г. отозван в Москву.
С декабря 1944 г. — старший оперуполномоченный, затем нач. отделения резерва 1-го управления НКГБ СССР. С мая 1946 г. — нач. отделения отдела «С» МГБ СССР.
В 1947 г. уволен из МГБ по сокращению штатов с передачей на общевоинский учет. В 1947 г. утвержден заместителем ответсекретаря и член президиума Еврейского антифашистского комитета (ЕАК).
13 ноября 1951 г. арестован по делу о ЕАК, 8 августа 1952 г. осужден ВК ВС СССР к 25 годам лишения свободы.
В октябре 1952 г. дело было пересмотрено. К имеющимся обвинениям добавились терроризм и участие в заговоре в органах МГБ. 2 февраля 1953 г. следователь объявил Г. М. Хейфецу, что тот приговорен к высшей мере наказания. 5 марта 1953 г. он был переведен в Бутырскую тюрьму, однако уже 23 апреля 1953 г. возвращен во внутреннюю тюрьму. Следствие было возобновлено.
28 декабря 1953 г. освобожден за отсутствием состава преступления, реабилитирован и восстановлен в партии.
В 1984 г. скончался в Москве.
Член РКП(б) с 1919 г. Награжден орденом Красной Звезды и медалью «За боевые заслуги» (1945).
Естественно, реакция на эту кампанию в Израиле была резко отрицательной. Более того, еврейские экстремисты 9 февраля 1953 года совершили террористический акт на территории советской дипломатической миссии в Тель-Авиве. Тогда после взрыва бомбы было ранено три человека, из них две женщины.. В результате уже на следующий день советское правительство обвинило Израиль в отсутствии «элементарных условий для нормальной дипломатической деятельности представителей Советского Союза» и разорвало с ним дипломатические отношения.
После смерти Сталина отношения между СССР и Израилем постепенно нормализовались. Было прекращено «дело врачей», а в июне 1953 года, восстановлены дипломатические отношения. Но в Москве прекрасно понимали, что Израиль никогда не будет проводником советской политики на Ближнем Востоке. Поэтому начиная с середины 50-х годов внешняя политика СССР была переориентирована на поддержку арабских государств в этом регионе.