Герцен собирался в Женеву, но домашние дела отвлекли его внимание. Тяжело заболел Огарев. Доктор Нефтель на другой день после последнего припадка, сообщал Герцен сыну 16 ноября 1864 года, "слушал его сердце и нашел такую слабость, что испугался". "…Я с бою взял почти обет ничего не пить, кроме бордо… Завтра неделя, что он соблюдает диету — авось еще и спасем его". Огарев уехал лечиться, залогом успешного лечения он считал уединение. Поэтому отправился в местечко возле Ричмонда — "на монастырское заключение в крошечной конуре", как комментировал Герцен. Незадолго перед тем отбыла и Наталья Алексеевна с детьми — в Париж. "20-го я еду в Париж — Женеву, — писал Герцен сыну. — Я оставался оттого, что Огарева нельзя было покинуть". "Дебандада общая"… Оно и в самом деле похоже было на "беспорядочное бегство". Беспокойством о распадавшейся семье продиктована каждая строчка этого письма сыну, которое Герцен считал настолько важным, что просил непременно подтвердить получение: "Хочу его застраховать". Закончив рассказ о семейных делах, Герцен далее писал сыну: "…Мы оба, т. е. Огарев и я, требуем от тебя истинно человечески святой клятвы — сделать все, что может сделать брат для маленьких детей — особенно после смерти кого-нибудь из нас… Это мы возлагаем на твою совесть". Он призывал сына приложить усилия к тому, чтобы примирить старших дочерей Тэту и Ольгу с Натальей и Лизой. Сделал и имущественные распоряжения, не забыв "маленьких" — недавно родившихся близнецов Елену и Алексея. "Маленькие" умерли в декабре, спустя несколько недель. Так смертями детей и болезнью Огарева заканчивался этот 1864 год — последний год Герцена на английской земле. В этом же письме сыну от 16 ноября Герцен уже строил дальние планы. Он предполагал, что если сын снимет во Флоренции, где обосновался с 1863 года, подходящий дом, то он сможет жить с Александром, по крайней мере, четыре месяца в году. Покупать дом Герцен не желал — не хотел, чтобы дети обрастали лишним "недвижимым", он все еще надеялся на возвращение хотя бы их на родину — "мы живем в мудреное время и почем еще знать, не поедете ли вы все в Россию". Перебираться во Флоренцию на постоянное жительство Герцен тоже не был намерен. Флоренция ему не нравилась — "в ней жить пряно", слишком красива. Неясно еще было будущее местожительство, но была уже уверенность, что лондонский период эмиграции закончился. Закончился и лондонский период "Колокола". "Огарев хотя и говорит, что готов в апреле на переселение, но держится крепко за английскую землю — нудить его не буду, что же касается до меня, то считай наверное, что в мае месяце — я с вами". Итак, 1865 год встречали в Женеве. В канун нового года к отцу приехал Александр, и в первый день нового года они принимали у себя состарившегося телом, но молодого духом декабриста Поджио. Это казалось добрым знамением.
Однако новый год принес, может, и ожидаемое, но все же разочарование. Хотя Николай Утин, приглашая Герцена в Женеву, и писал, что "от вас, уважаемый Александр Иванович, зависит — сойтись или разойтись со всеми этими людьми — для посильной работы и совокупного в ней участия — во имя той же желанной цели, прямое и свободное заявление которой мы услышали в своей юности от вас же", на практике оказалось, что разногласия по ряду вопросов таковы, что преодолеть их нет возможности.
Встречи с молодыми в декабре — январе на так называемом женевском съезде эмигрантов уточнили позиции сторон и даже как будто бы наметили пути к сближению. Круг вопросов, подлежавших обсуждению на съезде, был заблаговременно изложен в письме Утина Герцену, которое Утин послал Герцену перед приездом того в Женеву. Письмо имело целью предварить переговоры, подготовить Герцена к предстоящему обмену мнениями. Утин выдвинул четыре задачи: пропаганда, установление регулярных сношений с Россией, налаживание связей с людьми, могущими принести пользу революционному делу, и конституирование и увеличение "Общего фонда", созданного Герценом и Огаревым в 1862 году и предназначавшегося на "общее наше русское дело" (так было сказано в "Колоколе".) Главное, "Колокол" должен был стать общеэмигрантским органом. "Вы этим самым указали бы, — писал Утин, — на солидарность партии или, вернее, группы революционной… За каждым словом такого "Колокола" чувствовалась бы и друзьями и врагами сила, не личная, не индивидуальная, а обобщенная, совокупная, сплоченная теперь из десятка или двух людей, а скоро, при положительном" вызове деятельного сочувствия в самой России, — сила, сплоченная из всего, что есть живого и революционного в России, — а с такой силой пришлось бы считаться". Письмо содержало и известный ультиматум. Утин сообщал, что в случае несогласия Герцена на предложение "молодых эмигрантов" они будут вынуждены основать свой журнал.
На съезде присутствовало 17 человек, в том числе Утин, Лев Мечников, приехавший из Италии, Якоби — из Цюриха, А. Серно-Соловьевич, Жуковский, Гулевич, Касаткин, сын Герцена Александр, Людмила Шелгунова, Лугинин, В. Ковалевский и "все остальные".