Отступление через Потомак под проливным дождем стало эпической историей страданий, не уступающих самой битве. Потомак затопило, пришлось импровизировать шаткий мост через него, а агония раненых не поддавалась описанию. Даже лошади, большинство из которых хромали из-за отсутствия обуви и недостатка корма и фуража, находились в плачевном состоянии. На протяжении всего этого мучительного марша Ли не только руководил своей армией, но и подавал своим людям пример стойкости, уверенности и преданности долгу. Если бы он в том же духе взял на себя управление сражением на второй день, то вполне мог бы его выиграть. Столкнувшись с поражением, он сплотил армию и вдохновил ее своим духом. Разбитая армия при полном отступлении может очень легко превратиться в вооруженную толпу, но в течение двух недель после Геттисберга Ли восхваляли и северяне, и южане. Он не скакал впереди, не публиковал недостоверных отчетов и не перекладывал вину на своих генералов. "Надеюсь, - писал он президенту Дэвису, - ваше превосходительство поймет, что я ничуть не обескуражен и что моя вера... в стойкость этой армии ничуть не пошатнулась". Далекий от того, чтобы препираться с Лонгстритом, критиковать Юэлла за то, что он не смог взять Калпс-Хилл, или обвинять Стюарта в том, что он не сообщил ему, что Мид наступает на пятки Ли всей своей армией, а не только ее частью, Ли решительно пресекал все попытки обвинить кого-либо, кроме себя, и столь же решительно следил за поддержанием дисциплины и выполнением приказов во всех рядах. Он привел домой истощенную, потрепанную, разбитую армию, но это была еще армия, ее боевой дух не был сломлен.
Что бы он ни думал о выступлении Лонгстрита 2 июля, Ли продолжал называть его "мой старый военный конь", а когда Мид переправился через Потомак, разместил Лонгстрита и его корпус вокруг Калпепера на случай, если Мид предпримет атаку на Ричмонд. Он никогда не забывал, что его семья тоже страдает. Особенно он переживал за Руни, своего среднего сына (бригадного генерала Уильяма Генри Фицхью Ли), который был тяжело ранен в битве при Брэнди-Стейшн 9 июня. Руни отвезли в Хикори-Хилл, поместье У. Ф. Уикхэма, где за ним ухаживали жена Шарлотта, брат Роберт-младший, находившийся в отпуске, мать и две сестры, Агнес и Милдред. Хикори-Хилл, плантация площадью более 3 000 акров, с видом на реку Памунки, была домом тети Роберта Э. Ли. Теперь она находилась в опасной близости от линии войск Союза. Ли, который обычно быстро предостерегал свою семью от подобного риска, в этот раз, похоже, не был обеспокоен. Он не послал никакого предупреждения, возможно, потому, что полагал, что Руни, как раненого офицера, оставят в покое. Если так, то он ошибся. 26 июня семья услышала выстрелы из гикориевой рощи за воротами. Роберт-младший побежал вниз, чтобы выяснить, но увидел, что к особняку галопом несется федеральный кавалерийский патруль. Он побежал обратно в дом, чтобы предупредить брата, но Руни был не в том состоянии, чтобы быстро передвигаться, а поскольку он всегда досрочно освобождал раненых федеральных офицеров, то считал, что ему ничего не угрожает.
Он ошибся. Получив информацию о присутствии Руни, федералы пришли специально, чтобы схватить сына Ли. Солдаты Союза вынесли Руни из дома на матрасе, пока его семья наблюдала за происходящим. Под вооруженной охраной "в карете "Хикори Хилл", запряженной лошадьми мистера Уикхэма, его отвезли в камеру в форте Монро. Его брату Робу удалось сбежать, спрятавшись за живой изгородью в саду; но Руни оставался военнопленным в течение девяти месяцев, сначала в форте Монро, а затем в штате Нью-Йорк. В конце концов его обменяли на офицера Союза, равного по званию офицеру Конфедерации. "Я могу оценить вашу тревогу по поводу положения Фицхью", - писал Ли своей невестке Шарлотте. "Я глубоко сочувствую вам, и в одинокие часы ночи я стону от горя по поводу его плена и разлуки с вами. . . . Вы можете думать о Фицхью и любить его сколько угодно, но не печальтесь о нем и не грустите". Хотя Руни, как и предсказывал его отец, хорошо заботился о нем "в руках старых армейских офицеров и хирургов, большинство из которых - люди принципиальные и гуманные", дети Руни умерли от скарлатины во время его плена, а его жена Шарлотта "исхудала" и умерла "от разрыва сердца".
Ли был потрясен тем, что Руни фактически похитили, пока он восстанавливался после ранения. Как ни сурова была война, генеральские офицеры редко подвергались такому обращению. Ли также был огорчен тем, что захват был осуществлен на глазах у жены и детей Руни, и с ужасом узнал, что федералы жестоко избили старого слугу семьи, "дядю Уильяма", в попытке выяснить, где находятся лошади. "Я очень сожалею об обидах, нанесенных семье в Хикори-Хилл, и особенно о том, что наш дорогой старый дядя Уильям, которому идет восьмидесятый год, подвергся такому обращению", - писал Ли Мэри, призывая ее "покориться всемогущей воле [Бога], какой бы она ни была", хотя Мэри была склонна скорее обвинять федеральное правительство, чем принимать ситуацию как волю Бога.