В январе 1954 года в г. Саппоро на о. Хоккайдо проходили международные конькобежные соревнования, в которых принимали участие и советские спортсмены. Административная группа, сопровождавшая советскую спортивную делегацию, была настолько внушительной, что часть ее на соревнования не поехала, а осталась в Токио, где принялась решать кадровые вопросы в «дипломатическом представительстве». По результатам бесед было отобрано несколько человек, которым без объяснения причин объявили об отзыве в Москву. В их числе был и Растворов. И хотя он со дня на день ждал своего откомандирования в Союз и внутренне уже был готов к нему, однако что его может ожидать в Москве — ему стало окончательно ясно после разговора с шифровальщиком резидентуры, с которым Растворов не ладил. Подвыпивший «шифрик», который был в курсе игры, затеянной Москвой в связи с отзывом Растворова, злорадно бросил ему в лицо: «В Москве тебе покажут где раки зимуют. Там с тебя шкуру спустят!» «А ведь спустят, — подумал Растворов. — А за что? За квартиру, которую жене-плясунье подарил Берия?» И он решил действовать.
В советское время на «дело Растворова» было наложено табу, поэтому получить какую-либо более-менее правдивую информацию по этому вопросу можно было только из зарубежных публикаций. В постперестроечный период одни российские авторы утверждали, что третий секретарь Растворов весной 1953 года вступил в контакт с резидентом СИС в Токио и 26 января 1954 года на самолете британских ВВС был переправлен в Лондон. По версии других российских авторов, Растворов попросил политического убежища в американском посольстве в Токио, где с ним установило контакт ЦРУ. Обе эти версии не совсем верны.
В действительности Растворов связался со своим английским другом, представлявшим военно-морскую разведку Великобритании. 23 января на американскую военно-воздушную базу Татикава, расположенную недалеко от Токио, прибыл транспортный самолет королевских ВВС. Сотрудники МИ-6 в Японии, которые были осведомлены об этом неожиданном «русском подарке», уже потирали руки, предвкушая королевские награды и повышения по службе, однако взлететь их самолету с Растворовым на борту не удалось. Когда он уже выруливал на взлетную полосу, на район Токио неожиданно обрушился мощный снегопад. Пока в самолете пережидали непогоду, один из членов команды проговорился Растворову, что они летят не в Австралию, а в Сингапур, где в то время находился английский региональный Центр безопасности и разведки для Азии и Дальнего Востока (SIFE — Security and Intelligence Far East). Растворов запаниковал, т. к. он об этом не договаривался с английским другом. Под благовидным предлогом он «на время» покинул самолет и обратно не вернулся.
Зайдя в одно из многочисленных японских кафе-ресторанов, Растворов по телефону срочно связался со своей преподавательницей английского языка американкой Мод Буррис, о которой ему было известно, что она работает в отделе образования штаба Вооруженных сил США в Японии. Он был уверен, что она, как человек, имеющий санкционированный контакт с сотрудниками советского представительства, должна быть связана с американскими спецслужбами. И он не ошибся. Капитан Вернер Мишел, возглавлявший специальное подразделение армейской котрразведки США (441 Си-Ай-Си), занимавшееся разработкой советских учреждений в Токио, действительно уже установил с этой американкой оперативный контакт и «на всякий случай» оставил ей свои служебный и домашний телефоны.
Вернер Мишел, доложив своему непосредственному начальнику, полковнику Марку Хэнсону, о возникшей ситуации, договорился о встрече с Растворовым у хорошо известного последнему здания «Юсэн-биру» (NYK), где располагались ключевые подразделения американских ВС. Капитан Мишел подъехал к месту встречи на автомашине и был потрясен, увидев, что с Растворова, несмотря на необычный для Токио мороз, пот льет градом…
Первый опрос перебежчика был проведен в Си-Ай-Си. Переводчиком выступал один из самых способных работников Мишела Эли Кастенбаум. Основное содержание полученной от Растворова информации тут же доложили руководству ЦРУ в Японии.
Начальник «советского отдела» ЦРУ в Японии Эд Сноу (русского происхождения, его настоящая фамилия была Снегирев) в этот момент проводил свой медовый месяц с молодой женой (из семьи русских белоэмигрантов) на местном курорте Каруидзава. Среди ночи его разбудил телефонный звонок. Звонил Энди Браун (псевдоним Арсения Янковского, работавшего у Сноу в «советском отделе» на базе Йокосука). Условной фразой Энди дал понять, что к ним в сети попала «настоящая птичка»… Сноу сразу все понял. Оставив молодую жену досматривать сладкий сон в Каруидзаве, он срочно выехал в Токио. После первого же допроса Растворова, которым он теперь руководил, Сноу дал «молнию» в Вашингтон. Оттуда последовало указание срочно с соблюдением всех мер безопасности доставить перебежчика в США. Руководству ЦРУ в Японии было поручено выразить благодарность капитану В. Мишелу и пожелать успехов в «получении очередного перебежчика из советской разведки» (!)…