В 1941 году – призыв в армию, где требовались переводчики, и направление в Военный институт иностранных языков. Осенью 1942 года О.А. Трояновского назначили редактором-переводчиком в Совинформбюро, а с октября 1944 года он работал в созданном по договоренности между СССР, США и Великобританией совместном комитете по ведению психологической войны против Германии, находившемся в Лондоне. Вскоре Трояновский был зачислен в состав посольства как атташе. Так, вопреки его собственным первоначальным планам, он впервые ступил на дипломатическую стезю.
В Лондоне О.А. Трояновскому было поручено работать в составе советской делегации, участвовавшей в переговорах по разработке устава готовящегося Нюрнбергского процесса, в котором затем он принял участие в качестве секретаря советского судьи. В 1946 году – работа переводчиком на Парижской мирной конференции по разработке мирных договоров со странами-союзниками гитлеровской Германии, а в начале 1947 года – назначение в секретариат министра иностранных дел В.М.Молотова.
В начале 1951 года по предложению ЦК КПСС О.А. Трояновский перешел на работу в редколлегию вновь созданного журнала на английском языке «Новости». С апреля 1953 года он работал помощником министра иностранных дел и одновременно, в 1956 году, окончил Институт иностранных языков.
С 1958 по 1967 год О.А. Трояновский был помощником председателя Совета Министров СССР. Работая при Н.С.Хрущеве и А.Н.Косыгине, он принимал участие почти во всех встречах министров иностранных дел и на высшем уровне, привлекался к составлению проектов выступлений главы правительства и важных правительственных решений.
Накопив большой международный опыт, О.А.Трояновский не хотел превращаться в вечного чиновника секретариатов. В 1966 году А.Н.Косыгин пошел навстречу его настойчивому пожеланию и разрешил перейти на дипломатическую работу. Вскоре его назначили послом в Японию. Он приехал в Токио в 1967 году и занял место за письменным столом, за которым когда-то работал его отец. Через несколько лет, подобно своему отцу, он стал дуайеном (старейшиной) дипкорпуса.
О.А. Трояновский проработал в Токио значительно дольше, чем другие советские послы – почти 9 лет, и добился результатов, которые превзошли достижения его предшественников в Японии и по целому ряду параметров считаются непревзойденными по сей день. В силу своих достоинств посла и личностных качеств Олег Александрович пользовался наибольшей из наших послов известностью и популярностью в Японии. Благодаря его деятельности советско-японские отношения в те годы приобрели качественно иной характер: именно в этот период после двух послевоенных десятилетий взаимной враждебности и настороженности СССР и Япония начали нащупывать пути к улучшению отношений, постепенно, а потом все более широко открываться друг другу как соседние государства.
Развернулась деятельность японо-советского и советско-японского комитетов по экономическому сотрудничеству, ознаменовавшаяся реализацией ряда крупных совместных проектов, которые вывели Японию на место одного из основных наших деловых партнеров. Завязались контакты между парламентариями. В японском парламенте была создана массовая, насчитывавшая в пору наибольшей активности до 600 членов, Ассоциация депутатов за дружбу с Советским Союзом. Значительно расширились культурное сотрудничество, людские обмены и т. д.
В октябре 1973 года в Москве была проведена первая советско-японская встреча на высшем уровне. Наладились достаточно регулярные контакты на уровне министров иностранных дел. Более четко обозначились усилия советской дипломатии освободиться от тормозившей их развитие так называемой «проблемы северных территорий». Конечно, речь шла не об удовлетворении японских притязаний, но о создании такой атмосферы в двусторонних отношениях, при которой их прогресс «не отягощался бы», как выражался А.А.Громыко, этой проблемой.