Но пока руководители American Express качали головами от досады, что потратили столько денег на банк, чьи методы казались отголосками девятнадцатого века, Эдмонд все больше расстраивался из-за того, как с ним обращались в иерархии компании. Привыкший к жесткому контролю в своих банках, он узнавал о деловых операциях и потерях American Express уже постфактум. После продажи TDB компании Эдмонд стал ее крупнейшим акционером, и каждый раз, когда он узнавал о делах компании из прессы, он считал это большой пощечиной. Разве Робинсон и его помощники не должны были советоваться с ним о том, что происходит в компании? Например, Эдмонд узнал из сообщения Dow Jones о планах American Express заплатить 1 миллиард долларов за финансовую компанию, расположенную в Миннеаполисе. Он также был ошеломлен, когда узнал из новостей перед Рождеством 1983 года, что Fireman's Fund, страховая компания компании, расположенная в Калифорнии, получит убыток до налогообложения в размере 242 миллионов долларов, что приведет к снижению общей прибыли American Express за год.
Эдмонд был в ярости. Что еще хуже, American Express теперь обращалась к своим недавно приобретенным клиентам частного банковского обслуживания в Европе - клиентам TDB - и рассылала им по почте всевозможные рекламные предложения по другим услугам, которые предлагала компания. Для этой избранной группы держателей депозитов внезапно получить шквал писем и рекламных материалов было слишком для Эдмонда. Это были люди, которые сотрудничали с ним из соображений полной конфиденциальности, а теперь они оказались в списке рассылки American Express!
Он волновался, терял сон, не мог расслабиться. Как они могли так обращаться с ним и его клиентами? В отместку Эдмонд решил выбросить почти все свои акции American Express - пощечина новым боссам, которая в итоге обошлась ему в более чем 100 миллионов долларов убытков. Теперь Эдмонд открыто угрожал уйти в отставку; он даже предложил выкупить Банк развития торговли. American Express отказалась, заявив, что предложенная им цена слишком низка.
Но Эдмонд просто не мог продолжать чувствовать себя заложником глобального конгломерата, и в октябре 1984 года American Express официально объявила, что Эдмонд уходит с поста главы международного банковского подразделения, хотя и становится директором в совете директоров компании. Сделка позволила ему выкупить несколько зарубежных банковских операций, которые он продал American Express в предыдущем году. Как отмечалось в статье в Wall Street Journal, "г-н Сафра, частный, иногда эксцентричный 52-летний миллиардер, в чью собственность входит Republic National Bank в Нью-Йорке, очевидно, не вписывался в более бюрократический стиль управления American Express". Но год спустя разрыв стал окончательным, когда Эдмонд просто не смог больше мириться с американским способом ведения бизнеса в компании.
Решив избавиться от альбатроса American Express, Эдмонд почувствовал себя другим человеком. Он устроил вечеринку в честь пятидесятилетия Лили в лондонском ресторане Annabel's, пригласив Гутфройндов, Эртегунов и многих других, кто присутствовал на свадьбе Клаудио. Эдмонд позаботился о том, чтобы ресторан был украшен "колоннами из белых и розовых тубероз", а в меню были яйца с икрой и Becheyelle '70 за интимными столиками на восемь и десять персон. Вечеринка принесла Лили одно из первых упоминаний в журнале Women's Wear Daily, который описал Эдмонда, Лили и их гостей как "международную группу, стесняющуюся денег и не говорящую об этом". Позже Эдмонд и Лили по собственной прихоти вылетели из Нью-Йорка в Рио-де-Жанейро, чтобы провести столь необходимый отпуск. "Впервые в жизни я покинул Нью-Йорк, не сказав своей секретарше, где я буду", - сказал Эдмонд своему другу Альберту Насеру, когда они устроились за игрой в нарды в роскошной квартире Насера на пляже Ипанема. "Я чувствую себя свободным, как птица, и очень рад этому".
Как только он разорвал отношения с American Express, Эдмонд приступил к созданию другого банка - швейцарского продолжения своего Republic National Bank of New York. Но согласно первоначальному и очень сложному контракту с American Express, Эдмонду было запрещено переманивать своих бывших сотрудников, и он должен был согласиться, что не будет открывать конкурирующий банк в течение трех лет - до 1 марта 1988 года - после своего окончательного ухода из компании в 1985 году. Однако Эдмонду очень хотелось сохранить лицо и возместить свои потери, и он потребовал от своих адвокатов найти лазейку в его первоначальном контракте с American Express, которая позволила бы ему выйти сухим из воды. Лазейка заключалась в небольшом пункте, который гласил, что его отношения с компанией не повлияют на его дела с Republic National Bank of New York, другим его "ребенком".