Помимо семьи Ли, в его жизни было два основных влияния, каждое из которых должно было сыграть важную роль в формировании не только его характера, но и тактики и стратегии как генерала. Первым был сам Джордж Вашингтон, и хотя Вашингтон умер за десять лет до рождения Роберта Э. Ли, юный Роберт рос в его тени. В детстве его повсюду окружали ассоциации с Вашингтоном, с которым он состоял в дальнем родстве (как и с Томасом Джефферсоном); его любимый отец был настолько близок к Вашингтону, насколько это вообще возможно для этой немного сдержанной и холодноватой личности, а старшие члены его семьи хорошо знали Вашингтона как соседа и соплеменника по Виргинии до, во время и после войны и в бурной политике младенческой республики. Вашингтон никогда не был для Роберта Э. Ли далекой или отдаленной исторической фигурой; он был почти живым человеком, по чьим меркам Ли оценивал себя - как мальчика, как мужчину и как генерала. Строгая преданность долгу, грозное достоинство, твердый характер, гений лидерства, способность годами держать вместе разношерстную, плохо снабженную армию против превосходящего по численности, вооружению и ресурсам противника, мужество и стойкость перед лицом поражения, великодушие в победе - все эти качества восхищали Роберта Э. Ли и он стремился успешно их перенять.
Образцом для подражания "отцу своей страны" стал бы вызов для любого молодого человека, но в случае Ли он осложнялся его глубоко амбивалентными чувствами к собственному отцу, чья роль в том, что Фрейд называл "семейным романом", была глубоко противоречивой, примером, который нужно было одновременно копировать и избегать любой ценой. Гарри Ли был одним из тех людей, чьи добрые советы детям редко соответствовали его личному поведению. Отважный и новаторский солдат, в мирное время он был заядлым и все более безрассудным игроком в азартные игры, которые мы бы сейчас назвали рискованными инвестиционными схемами, в основном земельными спекуляциями, которые неизменно проваливались, вгоняя его в огромные долги. Его статус героя Революционной войны, его отважная, добродушная внешность, несколько испорченная в более поздней жизни склонностью к лишнему весу, его обаяние и тот факт, что он был Ли, привели к тому, что люди прощали его слишком легко и слишком часто, к его собственному и их благу - в итоге он был любящим, но часто отсутствующим отцом, и оставил свою большую семью практически без гроша.
Генри Ли III родился в 1756 году и, будучи старшим сыном богатого землевладельца Генри Ли II и красавицы Люси Гримс Ли, должен был казаться предначертанным по рождению для блестящей карьеры - чувство, которое он явно разделял с раннего детства. Он учился в Принстоне (тогда он назывался Колледжем Нью-Джерси), окончил его в 1773 году и, если бы не начавшаяся война, изучал бы право в Англии. Годы между 1773 и 1776 были в Вирджинии столь же волнующими и насыщенными событиями, как и в Массачусетсе, что побудило доктора Джонсона спросить: "Как получилось, что мы слышим самые громкие крики за свободу среди погонщиков негров?" - и молодой Генри Ли отказался от амбиций стать юристом и пошел в армию, став капитаном в полку легкой кавалерии, собранном одним из тех многочисленных "родственников", которыми была так богата жизнь первых семейств Вирджинии. Хотя он не получил никакой формальной военной подготовки, возможно, она ему и не требовалась - Генрих Ли III, возможно, был рожден, чтобы стать солдатом. Высокий, мощно сложенный, прирожденный наездник, он быстро сделал себе имя. Хотя некоторые считают, что его прозвище "Легкая лошадь Гарри" - это дань его мастерству, на самом деле оно отражало его умение организовать и возглавить то, что в то время называлось "легкой лошадью", то есть кавалерию на относительно небольших, проворных лошадях - в отличие от драгун, или "тяжелой кавалерии", здоровенных мужчин, которые ездили на больших лошадях и носили тяжелые сапоги до бедра, кирасу из полированной стали и медный шлем, а их целью было массовое наступление с разбегу на разбег.