Ли был рад покинуть Харперс-Ферри и вернуться домой, но после нескольких дней пребывания там ему приказали вернуться и организовать оборону оружейного склада, поскольку растущая буря протеста против приговора Брауну заставила губернатора Уайза опасаться нового нападения на него или попытки вооруженных аболиционистов освободить Брауна - хотя сам Браун препятствовал всем подобным попыткам, убежденный теперь, что его мученическая смерть была частью Божьего плана по уничтожению рабства. Ли, который больше всего на свете не любил эмоциональных личных столкновений, был вынужден тактично реагировать на прибытие в Харперс-Ферри миссис Браун, пожелавшей увидеть своего мужа перед казнью. Миссис Браун приехала в сопровождении нескольких друзей-аболиционистов "для последней беседы с мужем", как написал Ли своей жене, пояснив: "Поскольку это вопрос, над которым я не властен, я передал их генералу Талиаферро". (Уильям Б. Талиаферро был командиром виргинского ополчения в Харперс-Ферри).
В день казни, 2 декабря, Ли было не более интересно наблюдать за повешением Брауна, чем общаться с миссис Браун, и он позаботился о том, чтобы расположиться вместе с четырьмя ротами федеральных войск из форта Монро, которые были посланы президентом для охраны оружейного склада в Харперс-Ферри по просьбе губернатора Уайза. В своей величественной биографии Брауна Освальд Гаррисон Виллард, внук Уильяма Ллойда Гаррисона, знаменитого аболициониста и сторонника Джона Брауна, рассуждает: "Если пророческий взгляд Джона Брауна блуждал по холмам к месту его короткой виргинской битвы, он должен был увидеть своего великодушного похитителя, Роберта Э. Ли, снова стоящего во главе армии в Харперс-Ферри, совершенно не подозревая, что на его плечи вскоре ляжет судьба дюжины конфедеративных штатов".
Но, разумеется, никакого "пророческого взгляда" или "духовного взора", как представлял его себе Виллард, не было так далеко от эшафота. Старик, приехавший на собственном гробе в повозке, запряженной двумя лошадьми, был столь же величественен и властен, как и прежде. Дойдя до эшафота, он заметил, глядя на линию гор Голубого хребта, где он надеялся укрыться с освобожденными и вооруженными им рабами и откуда он намеревался время от времени совершать вылазки, чтобы освободить еще больше, пока своего рода цепная реакция человечества не положит конец рабству: "Это прекрасная страна. Я никогда не имел удовольствия видеть ее раньше". Подтянутый, спокойный, невозмутимый, он двенадцать минут ждал с петлей на шее, пока виргинские ополченцы неуклюже пытались выстроиться в квадрат вокруг виселицы, не выказывая ни малейших признаков дрожи в ногах или страха на лице; свирепые глаза, которые бесчисленные знавшие его люди сравнивали с глазами орла, немигающе смотрели на более чем тысячу свидетелей его казни, прежде чем на его голову накинули капюшон.
Многие из тех, кто стоял в рядах вокруг эшафота, погибнут в грядущей войне, некоторые из них вознесутся к славе и высоким званиям, а один, по крайней мере, надолго останется в бесчестье. Командовал отрядом кадетов-артиллеристов из Виргинского военного института в серо-красной форме Томас Дж. Джексон, профессор натуральной и экспериментальной философии и инструктор артиллерии, который горячо молился за душу Джона Брауна и который всего через девятнадцать месяцев получит прозвище "Стоунволл" при Первом Манассасе - Первом Булл-Ране на Севере - и станет самым доверенным командиром корпуса и лейтенантом Ли. Среди войск, призванных предотвратить спасение Брауна, был также Эдмунд Руффин, беловолосый сторонник сецессии, который был полон решимости увидеть смерть Брауна, купил несколько лезвий от пик Джона Брауна, чтобы послать по одному губернатору каждого рабовладельческого штата в качестве напоминания о ненависти янки к Югу, и сделал первый выстрел по форту Самтер; А в ричмондской роте вирджинского ополчения - рядовой драматической внешности, устремивший взгляд на фигуру на эшафоте и с удовольствием участвующий в исторической сцене: актер Джон Уилкс Бут, который через пять лет станет убийцей Линкольна и сам стоял бы на эшафоте, как Браун, если бы не был застрелен солдатом Союза.