Хотя Дуглас Саутхолл Фримен утверждает: "Его характер уже был сформирован, а личность развита", это вряд ли было правдой в момент его отъезда из Вест-Пойнта. Ли было чуть больше двадцати двух лет, красивый, подтянутый молодой человек ростом пять футов десять дюймов, широкоплечий и узкобедрый, его фигуру подчеркивала военная форма; но его характер ни в коем случае не был "сформирован" в этот момент его жизни, как и его образование как солдата, которое едва ли было начато. Ли еще не испытал ни любви, ни глубокой личной утраты, хотя ему предстояло пережить последнее; не наложила на него свой отпечаток и жизнь, полная разочарований, леденяще медленного продвижения по службе и растущего напряжения между его собственным южным образом жизни и его страной. Как солдат, он еще не испытал ни обстрелов, ни приказов, которые наверняка стоили жизни некоторым из тех, кем он командовал, ни возвышения от победы над страхом - или хотя бы над сомнением в себе, поскольку Ли обнаружил, что он один из тех счастливчиков, одаренных инстинктивным мужеством, - и признания себя героем. Как мужчина, он еще не испытал радости и боли брака и отцовства, а как американец - не мог даже представить себе глубину грядущей трагедии, в которой ему предстояло сыграть столь важную роль. Ли, о котором мы привыкли думать, - усталый, торжественный, исполненный достоинства в победе и в поражении, неистовый в действиях, несущий на своих плечах ответственность не только за армию, но и за нацию, а также за честь ее дела, - конечно, еще не существовал: он формировался под влиянием и слоями хорошего и плохого опыта в течение трех последующих десятилетий, как жемчужина внутри своей раковины. Самое большее, что можно сказать о молодом втором лейтенанте Ли, когда он возвращался домой в Вирджинию со своим чемоданом, - это то, что у него были задатки выдающегося солдата, технические знания, которые сделают его опытным инженером-строителем, разрабатывающим грандиозные проекты, а также моральный облик и чувство чести, которые будут поддерживать его на протяжении всей его жизни. На этом уже можно построить многое.
К тому времени, когда Роберт вернулся домой, его мать уже умирала. "Моя болезнь непобедима", - написала она его брату Сиднею Смиту Ли за два года до того, как Роберт окончил Вест-Пойнт, и давно уже смирилась с неизбежным, как и ее родственники, которые мудро воздерживались от того, чтобы обнадеживать ее ложными надеждами. Она остановилась в Равенсворте, дворцовом доме своего кузена Уильяма Фицхью, с максимальным комфортом, и Роберт сразу же вернулся к своей роли ее сиделки и компаньона. "Когда он выходил из ее комнаты, ее взгляд следовал за ним, и она неотрывно смотрела на дверь, пока он снова не входил". Она умерла через несколько недель после его возвращения, в возрасте пятидесяти шести лет, и была похоронена в Рэйвенсворте.
Роберт, несомненно, провел некоторое время в трауре, занимаясь мучительным делом оформления скромного наследства своей матери. Его сестра Энн вышла замуж за Уильяма Маршалла, священнослужителя из Балтимора, который был двоюродным братом председателя Верховного суда Джона Маршалла; вскоре Уильям сменил профессию и стал успешным адвокатом. Брат Роберта Сидни Смит Ли был в море, а его сестре Милдред было всего девятнадцать лет, поэтому ответственность за исполнение желаний матери легла в основном на Картера и Роберта. Анне мать оставила свою чернокожую служанку и ее младенца, а также еще трех рабов, а Милдред - пожилого чернокожего кучера и домашнего слугу Ната. Рабы, разумеется, были собственностью, которую можно было оставить наследникам, как и каретных лошадей, карету, фарфоровый чайный сервиз, столовое серебро и салфетки. Трастовый фонд миссис Ли, на доходы от которого она экономила, чтобы дать образование сыновьям и подготовить дочерей к замужеству, был разделен между ее детьми: 10 000 долларов каждой из девочек, 3 000 долларов каждому из мальчиков.