К его чести, Генри никогда не отрицал своей вины, но, похоже, он не понимал, что обвинения в прелюбодеянии и кровосмешении делают его практически безработным. В 1825 году, в год поступления Роберта в Вест-Пойнт, Генри удалось добиться от президента Джона Куинси Адамса обещания "скромной" работы на почте США, но и это было отменено, когда история о его совращении Бетси стала известна президенту. К тому времени, когда Роберт вернулся в Вирджинию в отпуск, Генри и Энн жили в Нэшвилле, Генри пытался написать то, что сейчас бы назвали предвыборной биографией Эндрю Джексона, а Энн тщетно пыталась побороть свою наркотическую зависимость у недавно открытого теплого источника, названного его промоутером "Фонтан здоровья" и считавшегося исцеляющим почти от всех болезней.
Кульминация, достойная романтического романа XIX века, привела к тому, что Бетси вышла замуж, а ее муж купил Стратфорд, дом, где родился Роберт Э. Ли, где она была соблазнена своим деверем или соблазнила его, и где она потом жила, богатая и респектабельная, в течение следующих пятидесяти лет. Тем временем Генри и Энн, получившие временное спасение после победы Эндрю Джексона благодаря назначению Генри консулом США в Алжире, отплыли в Северную Африку, но узнали, что назначение было отозвано, когда на заседании Сената США, к ужасу семьи Ли, были зачитаны записи о супружеских изменах, кровосмешении и финансовых преступлениях Генри.
Наследственность - не точная наука. Никто не может сказать, во всяком случае, о человеческих существах, что X плюс Y приведут к появлению Z. Биографы Роберта Э. Ли противопоставляют дикость и безответственность сына Генри Ли III от первого брака респектабельности его детей от второго брака, но простого объяснения этому нет. Конечно, его дети от Энн, за исключением Картера, никогда напрямую не сталкивались со стремительным падением своего отца, но, с другой стороны, перед ними был неизбежный пример их сводного брата Генри Ли IV, который направил их на путь истинный и удержал на нем. Конечно, Роберт Э. Ли всю жизнь избегал излишеств, скандалов и неподобающего поведения, как и его братья и сестры, хотя Картер питал слабость к деловым схемам, которые не встречали одобрения Роберта и от которых Роберту почти всегда удавалось отговорить его, приложив немало такта и усилий. Однако дикость проявляется в разных формах. У Роберта Э. Ли она не брала верх над его личной жизнью или деловыми суждениями - он всегда был образцом честности, - но она сильно повлияла на его суждения и поведение на поле боя. Он чрезвычайно рисковал собственной безопасностью: даже будучи генералом Конфедерации, он бросался в самые ожесточенные бои, чтобы лично убедиться в происходящем, подвергая себя артиллерийскому обстрелу и залпам мушкетов с близкого расстояния, не задумываясь о собственной безопасности, даже если его адъютанты и солдаты умоляли его отступить. И как только его кровь поднималась, как жаловался генерал Лонгстрит в Геттисберге, Ли не щадил свои войска и не был шокирован страшными потерями: он сражался до конца, невзирая на шансы и потери. Как Наполеон полагался на знаменитую furia francese, чтобы выпутаться из трудных ситуаций, так и Ли полагался на ярость южан в бою - крики повстанцев, штыковые атаки, самообладание своих войск. У него не было, как у Гранта, репутации "мясника", но между дорогостоящим лобовым штурмом Гранта против Ли при Колд-Харборе (штат Вирджиния) в 1864 году, о котором он сам признавался как о решении, о котором больше всего сожалел во время войны, не так уж много различий, и решительной атакой Ли на центр линии войск Союза на третий день Геттисберга, знаменитой атакой Пикетта - обе они провалились, понеся потери, которые шокировали даже их ближайших помощников (почти 7000 у Ли и более 10 000 у Гранта).
Роберт вернулся в Вест-Пойнт в конце августа 1827 года, чтобы начать третий год обучения. Прежде всего, это было добавление "естественной философии", как тогда называли физику, и химии - предметов, которые ему нравились, а также тактики на уровне батальона и введение в артиллерию. Он продолжал много читать для собственного удовольствия, хотя на время его интерес к Наполеону был вытеснен смешанным мешком чтения, ни одно из которых не было легким: Макиавелли, Александр Гамильтон, Руссо (в оригинале на французском), биография Джона Пола Джонса, работа по навигации, еще одна по астрономии и еще одна по оптике. Неудивительно, что на протяжении всей жизни Ли удивлял людей своими познаниями в предметах, далеких от военной инженерии или тактики, или что в последние годы жизни он превратился, казалось бы, без особых усилий, в отличного президента колледжа. Каким бы еще он ни был, он никогда не был узким солдатом - его интеллектуальное любопытство всегда было интенсивным и обоснованным, но, как и его чувство юмора, тщательно скрываемым.