Старая николаевская тюрьма совсем не была приспособлена для политических, да еще в таком числе. Я попал в одну камеру с молодым переплетчиком Явичем. Камера была очень велика, человек на тридцать, без всякой мебели и еле отапливалась. В двери был большой квадратный вырез в коридор, открытый прямо на двор. Стояли январские морозы. На ночь нам клали на пол соломенник, а в шесть часов утра выносили его. Подниматься и одеваться было мукой. В пальто, в шапках и калошах мы садились с Явичем плечо к плечу на пол и, упершись спинами в чуть теплую печь, грезили и дремали час-два. Это было, пожалуй, самое счастливое время дня. На допрос нас не звали. Мы бегали из угла в угол, чтоб согреться, предавались воспоминаниям, догадкам и надеждам. Я стал заниматься с Явичем науками. Так прошло недели три. Потом наступила перемена. Меня вызвали в тюремную контору с вещами и передали двум рослым жандармам, которые перевезли меня на лошадях в херсонскую тюрьму. Это было еще более старое здание. Камера была просторная, но с узким, наглухо заделанным окном в тяжелом железном переплете, едва пропускавшем свет. Одиночество было полное, абсолютное, беспросветное. Ни прогулок, ни соседей. Из заделанного по-зимнему окна ничего не было видно. Передач с воли я не получал. У меня не было ни чаю, ни сахару. Арестантскую похлебку давали раз в день, в обед. Паек ржаного хлеба с солью служил мне завтраком и ужином. Я вел с собой длинные диалоги о том, имею ли я право увеличить утреннюю порцию за счет вечерней. Утренние доводы казались вечером бессмысленными и преступными. За ужином я ненавидел того, который завтракал. У меня не было смены белья. Три месяца я носил одну и ту же пару. У меня не было мыла. Тюремные паразиты ели меня заживо. Я давал себе урок: пройти по диагонали тысячу сто одиннадцать шагов. Мне шел девятнадцатый год. Изоляция была абсолютная, какой я позже не знал нигде и никогда, хотя побывал в двух десятках тюрем. У меня не было ни одной книги, ни карандаша, ни бумаги. Камера не проветривалась. О том, какой в ней воздух, я судил по гримасе помощника начальника, когда он входил ко мне. Я откусывал кусочек тюремного хлеба, ходил по диагонали и сочинял стихи. Народническую "дубинушку" я переделал на пролетарскую "машинушку". Я сочинил революционную "камаринскую". Весьма посредственного качества, стихи эти позже приобрели большую популярность. Они перепечатываются в песенниках и сейчас. Но иногда меня грызла жестокая тоска одиночества. Тогда я преувеличенно твердо отсчитывал стоптанными подметками тысячу сто одиннадцать шагов. К концу третьего месяца, когда тюремный хлеб, мешок, набитый соломой, и вши стали для меня незыблемыми элементами жизни, как день и ночь, надзиратели вечером внесли ко мне гору предметов из другого, фантастического мира: свежее белье, одеяло, подушку, белый хлеб, чай, сахар, ветчину, консервы, апельсины, яблоки, да, большие, ярко окрашенные апельсины… И сейчас, через 31 год, я не без волнения перечисляю эти замечательные предметы и уличаю себя в том, что упустил баночку варенья, мыло и гребешок. "Это вам мать доставила", — сказал мне помощник. И как ни плохо я тогда читал в человеческих душах, но по тону его понял сразу, что он получил взятку.
Скоро меня перевезли на пароходе в Одессу и там поместили в одиночную тюрьму, построенную за несколько лет перед тем, по последнему слову техники. После Николаева и Херсона одесская одиночка показалась мне идеальным учреждением. Перестукиванья, записочки, "телефон", прямой крик через окна словом, служба связи действовала почти непрерывно. Я выстукивал соседям свои херсонские стихи, они снабжали меня в ответ новостями. От Швиговского я успел через окно узнать о полученном жандармами пакете с моими бумагами и потому без труда расстроил план подполковника Дремлюги, пытавшегося устроить мне ловушку. Нужно сказать, что в тот период мы еще не начали отказываться от дачи показаний, как несколько лет спустя.
Тюрьма была переполнена после всероссийского весеннего провала. 1 марта 1898 г., во время моего сиденья в херсонской тюрьме, собрался в Минске учредительный съезд социал-демократической партии. Он состоял всего из девяти человек и сейчас же потонул в волне арестов. Через несколько месяцев о нем уже не говорили. Но позднейшие последствия его сказались на истории всего человечества… Принятый манифест рисовал такую перспективу политической борьбы: "…чем дальше на восток Европы, тем, в политическом отношении, трусливее и подлее становится буржуазия и тем большие культурные и политические задачи выпадают на долю пролетариата". Не лишен исторической пикантности тот факт, что автором манифеста был небезызвестный Петр Струве, ставший позже лидером либерализма, а еще позже публицистом церковной и монархической реакции.