Он был столь же удачлив в детях, которых у него было десять, как и в бизнесе и политике; в самом деле, семейный девиз можно было бы заменить знаменитым замечанием доктора Панглосса из "Кандида" Вольтера: "Все к лучшему в лучшем из возможных миров". ("Все к лучшему в лучшем из возможных миров"). У него было так много земли, что после смерти он смог оставить большие участки своим детям. Они построили на них внушительные дома и таким образом создали несколько ветвей семьи Ли, в каждом поколении которой рождались мужчины, обладавшие выдающимися достоинствами, и женщины, удачно вышедшие замуж. Ко времени Американской революции Джон Адамс из Массачусетса, отнюдь не безусловный поклонник Юга, считал, что в роду Ли "больше достойных мужчин... чем в любой другой семье". ...чем в любой другой семье".
Одна из ветвей этого быстрорастущего и могущественного дерева произошла от третьего из семи сыновей Ричарда Ли, Ричарда Генри Ли II, известного в семье как "Ричард-ученый", поскольку он получил образование в Оксфордском университете, собрал одну из крупнейших личных библиотек в Северной Америке и свободно писал на греческом, иврите и латыни. Он, как и его отец, занимал многочисленные колониальные должности, служил в Палате бургезов и Королевском совете. У него было восемь детей, один из которых, капитан Генри Ли I, стал отцом Генри Ли II, который женился на Люси Гримс, "красавице из низины", дальней родственнице Джорджа Вашингтона - Вашингтон очень ею восхищался, и, по общему мнению Ли, не только был в нее влюблен, но и уступил ее Генри Ли II.
Генри Ли II построил для себя красивое поместье, дом Ли, в Лисильвании, и там у них с Люси родилось восемь детей, первый из которых, Генри Ли III, более известный как Легкая Лошадь Гарри Ли, вырастет и станет, возможно, самым известным кавалерийским командиром Революционной войны, а также другом, Именно Генри Ли III произнес похоронную речь Вашингтона, назвав его "первым в войне, первым в мире и первым в сердцах своих соотечественников", - фразу, которую до сих пор помнят миллионы людей, даже не представляющих, кто был ее автором.
Генри Ли III, который, несмотря на многочисленные разочарования, в итоге стал губернатором Виргинии и представителем Виргинии в Конгрессе, был отцом Роберта Э. Ли. Таким образом, дом Ли в Лисильвании был "родовым домом" Роберта Э. Ли, который Джордж Вашингтон посещал несколько раз, возможно, привлеченный все еще прекрасной Люси, и который представлял для Роберта Э. Ли, хотя больше в его воображении, чем в реальности, целый причудливо связанный, благодатный мир стабильности, богатства, привилегий, хороших манер и семейных связей на протяжении всей его жизни, хотя он вышел из владения его семьи, когда он был еще молод. Другие великие дома преследовали его всю жизнь, большую часть которой он провел в скромных съемных квартирах, казармах и палатках: Ширли, построенный Робертом "Кингом" Картером, в то время самым богатым человеком в Вирджинии, крышу которого возвышал резной позолоченный ананас, символ гостеприимства, один из самых величественных и изящных особняков в Вирджинии, был домом его матери; Уайт-хаус, одна из плантаций его тестя, сыграет важную роль в жизни Роберта Э. Ли; Стратфорд, построенный Томасом Ли, еще одним сыном Ричарда Ученого, с непревзойденным видом на реку Потомак, расположенный на плантации площадью 6600 акров, кирпичный особняк огромных размеров и гармоничного дизайна, более впечатляющий, пожалуй, чем красивый, с великолепными пропорциональными ступенями, взметающимися вверх к входу, и одним из самых восхитительных формальных садов в Америке, был местом, где родился Роберт Е. Ли родился; а Арлингтон в Александрии, штат Вирджиния, с его белыми колоннами и ассоциациями с Джорджем Вашингтоном, был особняком, который Ли унаследует по браку, только для того, чтобы его заняли федеральные войска в начале Гражданской войны.