Поскольку надежды его, связанные с г-жой Сабатье и Мари Добрен, ни к чему конкретному не привели, он, в конце концов, устав от одиночества, от переездов, от скверной пищи, в декабре 1855 года, возобновил совместную жизнь с Жанной. Она для него была вариантом «на худой конец», воплощением его дурных привычек, своего рода домашним животным, на которое можно кричать, но которое, в свою очередь, может заупрямиться, а то и боднуть. Примирение после ссор так приятно, что люди порой нарочно ссорятся, чтобы потом мириться. Восстановив отношения со спутницей жизни, Шарль даже поручал ей общаться с Анселем и писал ему: «Умоляю Вас при общении с Жанной не допускать никаких шуток или намеков на былые ссоры. Это выглядело бы грубостью». Но примирение не оправдывало надежд. Пожив какое-то время в доме 18 по улице Ангулем-дю-Тампль, чета стала менять одну меблированную комнату за другой и наконец осела в гостинице «Вольтер» на набережной с таким же названием, в двух шагах от типографии «Монитёр юниверсель», в которой должны были печатать «Приключения Артура Гордона Пима» в переводе Бодлера. Скоро ссоры между любовниками стали походить на сведение счетов.
В сентябре 1856 года, устав друг от друга, они после очередного скандала расстались. Похоже, что инициатива принадлежала Жанне. Шарль тотчас сообщил об этом матери, догадываясь, что та воспримет новость не без удовлетворения: «Моя связь с Жанной, длившаяся четырнадцать лет, порвана. Я сделал все, что было в человеческих силах, чтобы разрыва не произошло. Это расставание, это противостояние длилось две недели. Жанна мне постоянно невозмутимо отвечала, что у меня несносный характер и что в конце концов я сам же когда-нибудь скажу ей спасибо за такое решение. Вот она, примитивная буржуазная мудрость женщин. Я-то знаю, что какое бы приятное увлечение, удовольствие, заработанные деньги или удовлетворенное тщеславие ни ожидали меня, мне всегда будет не хватать этой женщины. Чтобы мое горе, которого Вы, возможно, и не поймете, не казалось вам ребячеством, признаюсь, что, подобно игроку, я поставил на эту женщину все мои надежды. Эта женщина была единственной моей радостью, единственным удовольствием, единственным товарищем и, несмотря на все стычки между нами, естественными при такой бурной любви, мне никогда и в голову не приходила мысль об окончательной и непоправимой разлуке. Еще даже и сейчас, когда все уже успокоилось, я ловлю себя на мысли, глядя на какой-нибудь красивый предмет, прекрасный пейзаж или просто что-нибудь приятное, на мысли, почему ее нет рядом, чтобы вместе чем-то полюбоваться или вместе со мной что-нибудь купить. Как видите, я не прячу мои раны. Уверяю вас, потрясение было настолько сильным, что мне понадобилось много времени, прежде чем я понял, что, возможно, работа доставит мне удовольствие и что в конце концов я должен выполнять свой долг. Передо мной все время стоял вопрос: а зачем? […] Десять суток я не спал, меня тошнило, я был вынужден прятаться, потому что я все время плакал […] Передо мной простиралось будущее в виде долгой череды лет без семьи, без друзей, без подруги, годы одиночества и превратностей — и ничего для души […] Все это случилось по моей вине; я пользовался и злоупотреблял ею, позволял себе мучить ее, а она в свою очередь мучила меня. Мной овладел суеверный ужас, и я вдруг представил себе, что Вы заболели. Я послал к Вам человека, узнал, что Вас нет дома и что Вы здоровы, во всяком случае, так мне сказали, но прошу Вас подтвердить это письмом […] Я сейчас одинок, совсем одинок, и, скорее всего, навеки. Ибо я больше не могу, просто хотя бы