"Моя слава связана с тем, что я владею лучшими английскими скаковыми лошадьми столетия", - говорил Виктор. Лошади Виктора действительно были знамениты. Они регулярно побеждали на крупнейших английских скачках, и он часто наблюдал за ними из королевской ложи, общаясь с аристократами и бизнесменами. В Шанхае его личная ложа на местном ипподроме всегда была заполнена деловыми партнерами, китайскими и западными женщинами. Хотя он носил имя Виктор, его полное имя было Эллис Виктор Сассун, и он использовал игру на двух первых инициалах, чтобы назвать многих своих лошадей: Дьюи Ева, Счастливая Ева, Праздничная Ева, Ухаживающая Ева, Свадебная Ева, Ева Медового месяца, Оперная Ева. Других он называл, чтобы задобрить знаменитостей: например, одну лошадь он назвал "Пинза" в честь знаменитого итальянского оперного певца Эцио Пинзы. Пинца выиграл главный английский скаковой турнир, известный как Дерби. Как и подобает финансисту, который наслаждался финансовыми манипуляциями и разбирался в колебаниях курсов валют, Виктор с удовольствием изучал родословные и племенной состав, соединяя породы для получения чемпионов.
Виктор Сассун был пионером идеи превращения бизнесмена в знаменитость. Остановиться в отеле Cathay, снять квартиру в одном из его зданий, посидеть с ним в ложе на скачках, посетить одну из его вечеринок - все это вводило посетителей в очарованный круг Виктора. Виктор Сассун стал лицом Шанхая. Когда американский юморист и исполнитель Уилл Роджерс посетил город, он назвал Виктора "Дж.
P. Морган из Китая и Индии".
Сексуальная жизнь Виктора была популярной темой для спекуляций. Говорили, что он встречался с Сержем Вороновым, хирургом русского происхождения, который пропагандировал пересадку тонких кусочков яичек бабуина в мошонку человека для омоложения половой функции. В своем дневнике, , среди записей об обедах с китайскими политиками и бизнесменами, он аккуратно вклеивал обнаженные фотографии европейских и китайских женщин. Некоторые из них соблазнительно откинулись на диван. Другие принимали атлетические позы или стояли с обнаженной грудью перед Буддой, драгоценности из замысловатого головного убора свисали на их соски. Он нанимал девушек из хора, чтобы они работали на него в качестве "секретарей". Однажды деловой партнер встречался с Виктором в его офисе на Катэе, когда вошла молодая женщина, чтобы сообщить, что она уезжает из Шанхая. Виктор выдвинул ящик стола, заполненный бриллиантовыми браслетами, и сказал ей выбрать один в подарок. Когда она сказала, что не может определиться, Виктор сказал: "Возьмите ящик!" и продолжил встречу.
Ходили сплетни, что Виктор был бисексуалом. На одной из вечеринок дочь богатого китайского финансиста возразила, когда Виктор положил руку ей на колено. Она оттолкнула его. Виктор тут же положил руку на колено ее брата. Он не женился до шестидесяти пяти лет, когда, находясь в изгнании на Багамах после захвата власти коммунистами, женился на своей американской медсестре.
Из всех женщин, связанных с Виктором, самой интригующей была американская писательница Эмили Ханн, которая начала писать эссе и статьи для журнала The New Yorker в начале двадцатых годов. В двадцать пять лет она переехала в Бельгийское Конго, где провела два года, работая на Красный Крест. Она курила большие сигары и с удовольствием пила. Она приехала в Шанхай в апреле 1935 года во время кругосветного путешествия со своей сестрой, намереваясь пробыть там всего несколько недель, чтобы осмотреть достопримечательности, а затем продолжить путь в Африку. Ей было тридцать два года, она носила каштановые волосы в модной прическе "боб" и обладала "сладострастной" фигурой. "Эмили Ханн тоже здесь", - восторгался корреспондент журнала Time Теодор Уайт в письме к матери. Он описывал ее как "превосходную сумасшедшую женщину, блестящую, красивую... необычайно умную, курящую сигары, говорящую по-китайски, в которую влюблен каждый мужчина".
В свой первый вечер в Шанхае Ханн посетила лекцию о Д. Х. Лоуренсе, организованную другом Виктора в одном из принадлежащих ему зданий в нескольких кварталах от отеля Cathay. После лекции и ужина Виктор отвез Хан и ее сестру на своем Rolls Royce в загородный дом. Через четыре дня он пригласил их обратно и попросил Хан позировать ему в своей фотостудии. Он показал сестрам большой альбом, в котором хранились обнаженные фотографии самых красивых женщин Шанхая. Хан охотно согласилась, польщенная тем, что он попросил именно ее, а не ее сестру Хелен: "Сэр Виктор не просил фотографировать Хелен, а она все время говорила: "Мне бы хотелось иметь хорошую фигуру", - вспоминает Хан. "Сэр Виктор только улыбнулся. "Но у вас такой приятный характер", - сказал он".
Хан решил остаться в Шанхае. Виктор установил ее в номере-люкс в роскошном многоквартирном доме, которым он владел.