Ли часто брал миссис Ли в один из спа-салонов в окрестностях Лексингтона, поскольку купание в водах было для нее единственным спасением от постоянных болей. Они оба наслаждались светской жизнью. Ли всегда был наиболее счастлив в хорошей компании, поэтому кажется печальным, что лучшую часть своей жизни он провел в качестве солдата. Несмотря на катастрофу поражения и его последствия для его любимой Виргинии, годы с 1866 по 1870-й кажутся одними из самых счастливых в его жизни, и это был период, когда грозный герой превратился в гораздо менее величественную и менее удаленную фигуру. Он оставался любящим отцом и мужем, с сильным интересом к сельскому хозяйству и дразнящим, ласковым чувством юмора, очень похожим на человека, за которого вышла замуж Мэри. Те, кто встречал его тогда, описывали его как яркого и жизнерадостного человека, и, несмотря на трепет, с которым к нему относились, он, похоже, проводил время так хорошо, как только позволяло его здоровье. Но не было никаких сомнений в том, что его здоровье ухудшается, а боли в левой руке и груди, которые приписывали ревматизму, на самом деле были стенокардией, сигнализирующей о закупорке артерий и неработающем сердце. Его ухудшение было настолько заметным, что правление и профессора Вашингтонского колледжа постоянно призывали его взять отпуск, чему он вежливо противился. Несмотря на это, Ли испытывал постоянные боли, и ходить ему становилось все труднее. Его объем работы оставался таким же огромным, как и прежде: он завершал пересмотренное и исправленное издание книги своего отца "Мемуары о войне в Южном департаменте", что было не столько любовью, сколько долгом; руководил быстро развивающимся колледжем; с перерывами работал над историей своих кампаний, продолжая лично заботиться о моральном благополучии своих студентов и ведя поистине поразительную по объему переписку, причем всю ее он вел собственноручно.
Когда он наконец согласился взять отпуск, к которому его так долго все подталкивали, это был важный выбор. В сопровождении своей дочери Агнес он решил посетить могилу своей дочери Энни, расположенную недалеко от Уайт-Сулфур-Спрингс. Это было паломничество, которое он давно хотел совершить, и, хотя расстояние было не очень большим, оно потребовало от Ли его слабеющих сил. До Ричмонда он добирался два дня на лодке и поезде. То, что когда-то было для него легкой поездкой, теперь было сопряжено с трудностями, которые усугублялись количеством людей, узнавших его. В Лексингтоне люди привыкли к нему, но по мере приближения к Ричмонду его путешествие стало напоминать римский триумф или средневековый ход, привлекая внимание общественности, которая еще больше утомляла его. Сенат Вирджинии "единодушно предоставил ему слово", от которого он вежливо отказался; толпы ждали у его отеля; его завалили приглашениями. Он принял визит полковника Джона С. Мосби, скандального кавалерийского лидера Конфедерации * , чьи нападения на линии снабжения Союза однажды заставили Гранта приказать Шеридану повесить "без суда и следствия" любого из людей Мосби, не одетых в узнаваемую форму. Мосби вернулся, прихватив с собой неохотно идущего Пикетта. Ли был рад видеть Мосби, но, как говорят, встретил Пикетта с ледяной вежливостью. Что касается Пикетта, то, оказавшись за пределами комнат Ли, он повернулся к Мосби и сказал: "Этот старик устроил резню моей дивизии в Геттисберге". Мосби уже помирился с Грантом, и есть некоторые споры о том, верно ли его описание этой встречи. Однако представляется вероятным, что Ли уже слышал об обвинении Пикетта; действительно, Пикетт сделал почти такое же замечание непосредственно Ли вскоре после провала атаки, и Ли вполне мог обидеться на его присутствие.
Ли и Агнес отправились в Уоррентон, где Ли впервые увидел усеченный обелиск, установленный над могилой Энни; к его подножию Агнес положила "белые гиацинты и серый мох". Оттуда они медленно и все более утомительно, сталкиваясь со все более многочисленной толпой, направились к месту назначения Ли - могиле его отца на острове Камберленд. Ли написал Мэри, что могила в полном порядке, но "дом сожжен, а остров опустошен". Когда он проезжал через Огасту и Саванну, штат Джорджия, и Джексонвилл, штат Флорида, его встречали духовые оркестры, игравшие "Дикси" и "Голубой флаг Бонни", и массы его бывших солдат, с приветствиями, речами, парадами и криками повстанцев. Хотел он того или нет, но поездка Ли попрощаться с дочерью Энни и отцом превратилась в огромный, затянувшийся праздник Конфедерации, который он не мог ни предотвратить, ни предотвратить. Однако цель его поездки оставалась ясной, во всяком случае, для самого Ли. Он прощался с отцом, которого никогда не знал так хорошо и чьей переменчивой политической карьеры и безответственного личного поведения Ли всегда старался избегать; и с дочерью, которая, как он надеялся, будет утешать его в старости.