Итог прошедшему 1865 году Герцен подвел в письме к сыну. Как ни кинь, а получалось все же, что "плохого прибыло". И главным, что окрашивало год в темные тона, было все же ухудшавшееся здоровье Огарева. Герцен написал сыну с полной определенностью — "видимое разрушение Огарева". "Наконец он таки сломил свой организм… Временами он оживает и свежеет, но вообще в каком-то печально-болезненном Schwarmer'cтвe (мечтательстве. — В.П.). В последнем листе "Колокола" прекрасная статья его — это почти все за шесть месяцев". Герцен имел в виду первое письмо Огарева из серии "Частные письма об общем вопросе". Работа эта, посвященная русскому социализму, появилась в "Колоколе" 1 января 1866 года. Что касается издательских дел, то и тут Герцен должен был признать, что год не порадовал его удачей. "Колокол" все-таки идет плохо". Неладно было и в семье. В декабре Герцен ездил в Монтре, где жила в это время Наталья Алексеевна. Хотелось быть вместе в годовщину смерти "маленьких". Надеялся, что хоть общее горе примирит Наталью Алексеевну с Татой. Надежда, как это случалось уже много раз, опять оказалась эфемерной. "Невозможность близости во имя воспитанья Лизы между Natalie и Татой — тоже большое несчастие". Таков был вывод из поездки в Монтре.
Однажды, услышав от Н.М. Сатина, мужа сестры Натальи Алексеевны, что Огарев как будто бы сжег его письма, Герцен написал: "Это скверно, лучше бы сжег дюйм мизинца на левой руке у меня. Наши письма — важнейший документ развития, в них время от времени отражаются все модуляции, отзываются все впечатления на душу, ну, как можно жечь такие вещи?" Как не хватало этих писем автору "Былого и дум"! Мемуар продолжал разрастаться, он далеко уже вышел и за пределы семейной драмы, воспоминаний о детстве, ссылке. Мелькнула и революционная Франция 1848 года. Но Герцен не очень задержался здесь на описании событий, они были подробно изложены в его "Письмах из Франции и Италии". В мемуар властно входило время, которое "воспитывало" героев. От главы к главе оно заявляло о себе все более громко. Герцен создавал свой мемуар шестнадцать лет вплоть до весны 1868 года. "Былое и думы" писались не по порядку глав. Каждая глава подолгу вынашивалась ("год обдумывал"), потом возникали варианты ("сто раз переписывал"), и каждая глава пропускалась "сквозь кровь и слезы".
При жизни Герцен опубликовал все главы, которые считал возможным обнародовать. Они печатались в альманахе "Полярная звезда", а ряд глав впервые появился и в "Колоколе". Отдельное издание "Былого и дум" начал готовить еще в 1860 году. Первые два тома мемуаров вышли в 1861 году. Затем последовал третий том, составившийся из произведений Герцена, написанных в 30 — 40-х годах, но тематически примыкающих к "Былому и думам". Последний, четвертый том Герцен издал уже в Женеве в 1866 году. Он собирался опубликовать и пятый и шестой тома мемуаров, для них у него были уже написаны главы, но сделать этого не успел. После смерти Герцена "Былое и думы" переиздавались не раз, однако полностью они вышли только в составе Полного собрания сочинений Герцена под редакцией М.К. Лемке, уже после Октябрьской революции.
Заголовки и подзаголовки "Былого и дум" наводят на мысль, что это не мемуары, а историческая хроника. В них присутствуют или события эпохи, или их участники — люди. В первых четырех частях — и "Пожар Москвы", и "Сунгуровское дело", "Славянофилы и панславизм", "Смерть Александра I и 14 декабря". Внутри заголовков — "Граф Аракчеев и…", "М.Ф. Орлов", "В. Гюго", "Ледрю-Роллен", "Роберт Оуэн"… Книга густо населена людьми, оставившими тот или иной след на путях и перепутьях истории.
Впоследствии А.М. Горький скажет: Герцен "представляет собою целую область, страну, изумительно богатую мыслями", "Былое и думы" бесспорно центр, столица этой богатейшей державы. "Меня ужасно занимают биографии всех встречающихся мне лиц", — признавался Герцен еще в романе "Кто виноват?". Интерес к человеческой личности был органичен для Герцена и стоял в тесной связи с общими его мыслями о переустройстве всего человеческого общества на новых началах. Для него было несомненным, что "грядущая революция должна начать не только с вечного вопроса собственности и гражданского устройства, а с нравственного человека".