Когда разразилась война с Германией, сверстники Юры ушли на фронт, а он, как студент Военного института иностранных языков, спокойно изучал японский язык — язык потенциального врага. После трех лет учебы в институте, благодаря стараниям отца, который в это время был военкомом Таганского района Москвы, был направлен в Монголию «совершенствовать японский язык». А в 1944 году полковнику Растворову по линии парткома удалось договориться о приеме любимого сына на службу в НКВД. Как проучившегося несколько лет в институте, его определили сразу на второй курс разведшколы (РАШ), где он продолжил изучение японского языка.
После окончания РАШ Растворова зачислили на службу во внешнюю разведку НКВД и в начале 1946 года командировали в Токио под дипломатическим прикрытием. Однако через полгода его неожиданно вызвали в Москву в связи с поступившей анонимкой на его отца, в которой тот обвинялся как «замаскированный троцкист». На время проверки этого «сигнала» (который не подтвердился) Растворова временно отстранили от работы.
Как раз в это время от советской разведки требовали информацию по Японии. Кремль интересовала не столько Япония, сколько деятельность в этой стране ее реальных хозяев — американцев.
После поражения в августе 1945 года на советскую территорию из Маньчжурии, Северной Кореи, Южного Сахалина и Курильских островов было этапировано около 600 тысяч военнослужащих Квантунской армии и несколько тысяч японцев, работавших в гражданских учреждениях на упомянутых территориях. Они были размещены в лагерях МВД для военнопленных в основном в Сибири и на Дальнем Востоке.
В 1946 году Растворов был включен в состав секретной комиссии, в задачу которой входила вербовка агентуры в лагерях военнопленных для создания в Японии «пятой колонны». Он был командирован инспектировать лагеря для интернированных японцев на территории Хабаровского края. Видимо, работал успешно. Да и как не работать? Японский язык знал прилично. Выгодно отличался интеллигентностью и знанием японских обычаев от грубого лагерного начальства. К нему измученные лагерной жизнью японские пленники тянулись — только выбирай наиболее подходящих. А контингент интернированных, по оценкам вербовщиков, был отменный. Одних генералов в плену оказалось 180 человек! Кроме того, в Маньчжурии было пленено немало родственников государственных деятелей и влиятельных в Японии фамилий, которые были привлекательны как возможные источники информации на перспективу.
К 1950 году основная масса интернированных японцев была репатриирована на родину, и пришла пора Растворову следовать за ними. А ехать в Японию не хотелось. Назначение на работу в эту измученную длительной войной, нищую страну считалось в то время в советской разведке наказанием. К тому же обстановка в Японии для СССР в корне изменилась в худшую сторону. Эйфория от легкой для Советского Союза победы в Маньчжурии прошла. Осудили только главных японских военных преступников. Японией фактически распоряжался американский генерал Маккартур. Каждый шаг советских представителей контролировался американской военной контрразведкой.
У Растворова была еще одна проблема. Семейная. Единственную радость ему приносила только дочка Танечка, которая появилась на свет в 1945 году, и ему тяжело было с ней расставаться.
Отношения же с женой давно уже дошли до разрыва. Растворов вынужден был терпеть иронические намеки приятелей, притворяться ничего не понимающим. А намеки, видимо, имели под собой почву. Его жена, Галина Андреевна Годова, эффектная и жизнерадостная женщина, была ведущей танцовщицей, или, как она любила подчеркивать, прима-балериной ансамбля песни и пляски НКВД (МВД), творческой деятельностью которого руководил лично всесильный Лаврентий Берия. Растворов прекрасно понимал, что выделенная для его семьи из трех человек огромная квартира в элитном генеральском доме рядом с гостиницей «Пекин» — совсем не оценка его разведывательных заслуг или хореографических достижений супруги. Но что было делать? Оставалось только прошмыгивать мимо соседей, опустив голову.
Растворова предупредили в кадрах, что в Японию он должен выехать один, без семьи. Шутки ради он предложил жене поехать в Японию вместе с ним. Однако жена отказалась наотрез, сославшись на то, что не хочет бросать престижную работу. Для него стало ясно, что он окончательно потерял жену.
В 1950 году Растворов выехал в Токио. Жил на территории советского посольства на Мамиана-те.