Положение для советских представителей в Токио стало особенно тяжелым после подписания Японией в 1951 году в Сан-Франциско мирного договора с бывшими военными противниками. СССР не подписал этот договор, а значит, формально продолжал находиться с Японией в состоянии войны и потому не мог иметь в ней свое посольство. Было придумано некое «временное дипломатическое представительство», в котором подполковник советской разведки Растворов занимал должность второго секретаря. Работал результативно, но особого удовлетворения от этого не чувствовал. В основном занимался сбором информации по американским военным базам в Японии. Имел возможность посещать бары, рестораны, три раза в неделю играл в теннис в престижном Токийском теннисном клубе, общался с американцами, англичанами. Вел себя корректно, много не пил, с иностранцами держал себя на одной ноге, внешне ничем не интересовался. Да и зачем? У него было достаточно секретных источников информации. Правда, добываемая информация носила скорее тактический, а не стратегический характер.
После начала в 1950 году войны в Корее Япония, благодаря солидным американским финансовым влияниям, направленным в производство обеспечивающих потребности войны материалов, стала быстро возрождаться. А Токио и другие японские города превратились в коллективные дома отдыха, где восстанавливали свои силы потрепанные в боях «вооруженные силы ООН».
5 марта 1953 года умер И.В. Сталин. Для Растворова это было настоящим потрясением, так как Лаврентий Берия сосредоточил в своих руках все специальные службы. Теперь, опасался Растворов, от любого каприза его пока еще формальной жены могут зависеть судьба и сама жизнь изгнанного в японскую ссылку разведчика. Но летом 1953 года пришла, казалось бы, обнадеживающая весть, что Берию арестовали, а затем и расстреляли как «врага народа» и «английского агента».
Но зря Растворов радовался. Вскоре до него стали доходить слухи, что в Москве началась очередная «зачистка»: убирали тех, кто был как-то связан с Берией. По предыдущим «чисткам» в НКВД ему было доподлинно известно, как жестоко советские власти расправлялись с попавшими под подозрение разведчиками. Сколько их было отозвано в Москву и расстреляно в 30-е годы! Кто может гарантировать, что это не повторится? Разве кому-то докажешь, что он не имел с Берией никаких отношений? Ведь элитную квартиру все же выделили не ему, а жене за пляски… И Растворов стал задумываться над тем, как бы избежать участи человека, которого могут обвинить «в связях с государственным преступником».
Английский военно-морской атташе капитан 3-го ранга Майкл Тафнелл, с которым Растворов периодически встречался на теннисном корте, был опытным разведчиком, а значит, и тонким психологом. Будучи хорошо осведомлен о том, что обычно происходило в НКВД после ареста очередного руководителя советских органов, он обратил внимание на то, что Растворов в последнее время находится в каком-то угнетенном состоянии. Улучив момент, англичанин выразил свое сочувствие и предложил свою помощь, если Растворов в ней будет нуждаться. Последний не стал от предложения отказываться. Он заявил, что если над ним «сгустятся тучи», то он предпочтет вместо СССР выехать в Австралию. На вопрос, почему в Австралию, а не в Англию, Растворов ответил, что у него есть подозрения, что в Англии у советской разведки имеется агентура в спецслужбах и поэтому там он будет опасаться за свою жизнь. В качестве подтверждения своих подозрений Растворов рассказал англичанину о том, как трагически закончилась в Москве судьба лейтенанта Скрипкина, который в 1946 г. установил в Японии контакт с английской разведкой, но его советская контрразведка быстро разоблачила…
К осени 1953 года все детали вылета Растворова из Японии в Австралию с помощью англичан были согласованы. Тут уже подключилась резидентура СИС в Японии, руководитель которой Мак Силвервуд-Коуп в течение нескольких лет до назначения в Токио занимался заброской агентуры в советские прибалтийские республики. А его заместителя Кена Парсонса в 1953 года как будто специально перевели в Токио из Москвы. Однако в спокойное развитие этой операции внезапно вмешалась Москва…