Семья с нетерпением ждала приезда Ли домой в Арлингтон, но, как и многие другие ветераны, он прибыл неожиданно, опоздав на присланную за ним карету. Первой его узнала семейная собака Спек, "черно-подпалый терьер"; затем Ли бросился в прихожую, полную детей, поднял и поцеловал не того, кто был другом его сына Роберта. Как ни странно, первым воспоминанием Роберта Э. Ли-младшего, которому тогда было пять лет, о своем отце было именно это немного неловкое событие. Спустя годы он писал: "После минутного приветствия окружающих отец протиснулся сквозь толпу и воскликнул: "Где мой маленький мальчик?" Затем он поднял на руки и поцеловал - не меня, своего собственного ребенка в лучшем платье, с чистым лицом и уложенными кудрями, а моего маленького товарища по играм Армистеда! Больше я не помню никаких обстоятельств, связанных с тем временем, кроме того, что я был потрясен и унижен". Несомненно, Роберт вскоре оправился от этого, потому что через несколько дней Ли взял его с собой в Балтимор, чтобы навестить миссис Маршалл (сестру Ли), а затем "спустился на пристань", чтобы посмотреть, как разгружают пони, которого он купил для мальчика в Мексике: он был "чисто белый, пяти лет и около четырнадцати рук в высоту", и его назвали Санта-Анна. Санта-Анна и Роберт быстро стали неразлучными спутниками. Вскоре прибыл верный Джим Коннелли с кобылой Ли Грейс Дарлинг - Ли выбрал более длинный и медленный путь домой, вверх по Миссисипи от Нового Орлеана до Уилинга, чтобы избавить лошадь от "как можно большего раздражения и усталости, ведь она уже перенесла столько страданий на моей службе". Теперь Ли начинал каждый день, когда был дома, с посещения Грейс Дарлинг в ее стойле, "всегда гладил ее и разговаривал с ней с любовью".
Вскоре Роберт понял, что его отец отличается от других мужчин, и не только любовью к животным. "С того самого раннего времени, - писал он, - я начал впечатляться характером моего отца... . . Все члены семьи уважали, почитали и любили его как само собой разумеющееся, но меня начало осенять, что и все остальные, с кем я был знаком, относились к нему с большим уважением. В свои сорок пять лет он был активен, силен и красив, как никогда. . . . Он всегда был весел и жизнерадостен с нами, маленькими, резвился, играл и шутил с нами. Хотя он был таким радостным и привычным для нас... Я всегда знал, что ослушаться отца невозможно. Я чувствовал это в себе, никогда не задумывался почему, но был совершенно уверен, что, когда он отдает приказ, его нужно выполнять. . . . Когда они с матерью уходили вечером... нам часто разрешалось сидеть и провожать их; отец, как я помню, всегда был в полной форме, всегда готов и ждал маму, которая, как правило, опаздывала. Он укорял ее ласково, игриво и со светлой улыбкой. ...и я засыпал с этой прекрасной картиной в голове, с золотыми погонами и всем остальным".
Конечно, дети нередко боготворят своего отца, но когда Роберт написал это, он был уже мужчиной средних лет и бывшим капитаном Конфедерации, чей отец, по иронии судьбы, не узнал его во второй раз, на этот раз во время битвы при Антиетаме (или Шарпсбурге) в 1862 году. Ли, командовавший тогда армией Северной Вирджинии, подъехал к батарее, которая "сильно пострадала, потеряв много людей и лошадей", и приказал ее капитану немедленно отвести на фронт оставшихся невредимыми людей и оставшиеся орудия, не подозревая, что один из стоявших там изможденных боями артиллерийских рядовых - его собственный сын Роберт.
Картину семейной жизни, созданную Робертом, подтверждают все остальные члены семьи Ли, а также бесчисленные люди, знавшие Ли. Ли, пунктуальный до мелочей, всегда стоит на месте; Мэри, вечно опаздывающая и, несмотря на помощь преданных горничных, слегка растрепанная, не хватает какого-то предмета, что влечет за собой очередную задержку, пока кто-то возвращается, чтобы найти его. Их жизнь вращалась вокруг детей, что кажется очень современным - ведь в конце восемнадцатого века и на протяжении большей части девятнадцатого дети, какими бы любимыми они ни были, не были тем центром семейной жизни, каким они стали в Америке в двадцатом веке. На границе и в бедных слоях населения смертность среди младенцев и маленьких детей заставляла матерей не решаться слишком привязываться к ним, пока они были маленькими, а среди богатых детей держали подальше от глаз в детской, под присмотром няни. (Сын Ли Роберт упоминает свою "мамочку" Элизу, рабыню из семьи Ли, как важную фигуру в его детстве). Ли, напротив, казалось, постоянно жили в окружении своих семерых детей, полностью поглощенные их воспитанием, играми и образованием.