Занимался он и установлением контактов среди представителей английского истеблишмента, имевших влияние на выработку внешней и внутренней политики. Так, он познакомился с доктором Стивеном Уордом, который пользовался доверием и авторитетом в английских политических и общественных кругах. Уорд являлся не только врачом, но и неплохим художником, хорошо разбирался в политике. Его пациентом был даже У. Черчилль и другие политики и бизнесмены. Жил он довольно скромно. Снимал квартиру и приемную в Лондоне и имел дачу в поместье лорда Астора в Кливленде. Иванов часто встречался с Уордом. Их связь носила чисто официальный характер. И из нее не делалось никакой тайны. Но когда через Уорда наш разведчик вышел на лорда Астора и Джона Профьюмо, министра обороны в правительстве Макмиллана, разразился скандал, стоивший перспективному разведчику карьеры.
У Профьюмо была одна слабость — любовь к прекрасному полу. На одной из вечеринок на даче Уорда он познакомился с 18-летней красавицей Кристиной Киллер, проституткой высокого класса. Вскоре она стала его любовницей. В лондонской резидентуре ГРУ знали об этом. Но произошел случай, когда один из воздыхателей Кристины, американский наркоман, открыл огонь из пистолета по окнам ее квартиры. Полиция задержала незадачливого влюбленного, после чего вездесущие репортеры начали раскручивать скандал. В результате всплыли имена Уорда, Астора, Профьюмо и, как ни странно, русского красавца Евгения Иванова. Во избежание скандала руководство ГРУ срочно приняло решение об отзыве офицера разведки в Москву. В марте 1963 года он выехал в столицу. Нашлись завистники его удачной работы и среди коллег Иванова по резидентуре в отношении якобы его близких отношений с Киллер. На этой основе разрушилась семья. Его жена Майя, дочь А.Ф. Горкина, секретаря ВС СССР, после этой непроверенной информации о муже подала на развод. Она не простила ему измены, несмотря на то, что он работал в Лондоне в интересах СССР. А ведь все действия нашего разведчика контролировал и поощрял Центр. Только поэтому Е.М. Иванова не уволили и разрешили ему поступить в 1963 году в Академию Генерального штаба, которую он тоже закончил с отличием в 1967 году.
До своего увольнения в 1981 году служил начальником направления в Управлении Информации и на КП ГРУ.
Облаянный недоброжелателями, с уходом жены… после развода он начал попивать…
Как-то в одной из многочисленных бесед он мне признался, что и учеба в разных военных заведениях, и служба у него стремительно шла в гору, а потом судьба сделала крутой зигзаг: «Окончив Академию Генштаба я надеялся, что буду и дальше расти — так должно было стать. Но, увы, я, наверное, где-то перестарался, а начальство обиделось, что ему пришлось объясняться выше…»
И все же руководство ГРУ в лице П.И. Ивашутина учло еще одну заслугу перспективного разведчика, оклеветанного врагом и некоторыми сослуживцами: Иванов стал обладателем сокрушительного по своей силе компромата — документальных материалов о тайных утехах сильных мира сего. В его руки попала скандальная порно коллекция королевского фотографа Бэрона Нэйхума и другие документы, дискредитирующие высокое чиновничество Великобритании.
Как писал в своей книге Г.И. Соколов: «Дамоклов меч вселенского позора навис над многими британскими политиками, видными депутатами и даже над Домом Виндзоров. Под ударами оказались муж и сестра королевы Елизаветы II, маркиз Милфорд-Хэвен, герцог и герцогиня Аргилльские, лорд Астор, полдюжины членов правительственного кабинета Гарольда Макмиллона, в том числе военные министры Джон Профьюмо и Дункан Сандс. По другую сторону океана в аналогичную ловушку попали президент США Джон Ф. Кеннеди, его брат министр юстиции Роберт Кеннеди, посол в Лондоне сэр Дэвид Брюс и его окружение.
Пытаясь избежать позора, члены британского правительства подали в отставку, аристократы ушли в тень, а контрразведки Великобритании и США начали лихорадочно заметать следы. Так русский разведчик убрал с Даунинг-стрит, 10 неугодный Москве консервативный кабинет и вверг в хаос секретные службы Лондона и Вашингтона».
После возвращения из Лондона Иванов 25 июня 1963 года написал на имя руководства ГРУ подробную справку: