До конца 1940 года Виктор пытался выступать в качестве посредника между японцами и британцами, представляя интересы еврейской сефардской общины в ее отношениях с японскими властями. В мае 1939 года Виктор и его друг Эллис Хаим встретились с японскими "еврейскими экспертами", чтобы обсудить проблему беженцев, обострившуюся в связи с прибытием сотен тысяч китайцев, перемещенных из-за войны, разворачивающейся в стране. Они попросили японцев остановить иммиграцию, поскольку, по их мнению, город больше не сможет справиться с наплывом. Представители муниципального совета также призвали свои правительства "сделать все возможное, чтобы воспрепятствовать эмиграции в Шанхай малообеспеченных людей", но хотя страны по всему миру закрыли свои двери для европейского еврейства, в Шанхае они оставались открытыми еще некоторое время. То, что, несмотря на трудности, с которыми столкнулся Шанхай, тысячи евреев пережили военные годы в его среде и впоследствии эмигрировали в другие страны, было и остается заслугой города и китайского народа, который дал им убежище. Несмотря на то, что Виктор очень хотел, чтобы число новоприбывших уменьшилось, он стремился улучшить положение беженцев в городе, пожертвовав 150 000 долларов на их помощь. Он также разработал схему трудоустройства и помог нескольким евреям открыть свое дело. Он подсчитал, сколько стоит прокормить одного беженца в Шанхае - около десяти шиллингов в неделю, или 26 фунтов стерлингов в год, - и использовал эту цифру, как это делают благотворительные организации и сегодня, чтобы убедить других жертвователей помочь.
На протяжении всего времени Виктор сохранял верность Британии, но по мере того, как в Европе разгоралась война, а Япония все больше сближалась с Германией, шансы на то, что ему удастся сохранить теплые отношения с оккупантами, уменьшались. В начале войны Виктор объявил, что планирует пожертвовать 1 миллион фунтов стерлингов (сегодня это более 60 миллионов фунтов стерлингов) на военные нужды, но неизвестно, сделал ли он это и какова была сумма. Пропасть между ним и японской администрацией стала достоянием общественности, когда во время поездки в США в начале 1940 года он раскритиковал Японию и предсказал, что надвигающийся экономический коллапс заставит японцев повернуться лицом к своим военным. Япония начала ожесточенную атаку на Виктора, назвав его высказывания "серьезной клеветой не только на японскую армию, но и на японский народ", и его комментарии были немедленно осуждены еврейской общиной Шанхая. Даже Эллис Хаим присоединился к ним, выступив с критикой высказываний Виктора и выразив свою признательность за " сочувственное и вежливое отношение", проявленное японскими чиновниками в Шанхае к еврейским беженцам. Для японских "еврейских экспертов" это было доказательством того, что их стратегия работает: Еврейская община достаточно хорошо понимала шаткость своего положения, и Япония могла использовать их признательность на мировой арене. Японцы чувствовали себя шокированными и преданными заявлениями Виктора, которые явно сигнализировали о конце "уютных" отношений между двумя сторонами.