Его расширенная семья была огромной, особенно со стороны Картеров. У его деда по материнской линии, Чарльза Картера, было "восемь детей от первого брака, а от второго - тринадцать". У деда Чарльза, сказочно богатого "короля" Картера, было не менее двенадцати детей, а у первого кузена Чарльза Роберта - шестнадцать. Возможно, потому, что Энн Картер Ли было комфортнее в своей собственной семье, чем в семье мужа, она проводила с Картерами как можно больше времени, так что Роберт Э. Ли рос в огромном и, на взгляд постороннего, запутанном рое первых и вторых кузенов, тетушек и дядюшек по браку и т. д. - "kinspeople".- "родственников", как их называли, - чьи "путешествия, переписка и обмен семейными новостями не прекращались годами" и которые на протяжении всей жизни Роберта Э. Ли доставляли ему удовольствие, сравнимое разве что с общением с собственными детьми. Даже в разгар Гражданской войны письма Ли домой полны упоминаний о родственниках Ли и Картера, пусть и отдаленных, которых он видел, и расспросов о здоровье и благополучии бесчисленных других.
В детстве он был окружен родственниками, многие из которых были близки ему по возрасту, в семье, известной не только своей "приветливостью и дружелюбием", но и богатством - после смерти Чарльза Картера в одном из некрологов было отмечено, что "его огромное богатство текло, как тихий ручей, оживляя и освежая все предметы вокруг", - и поэтому у него никогда не было недостатка в товарищах по играм. Его дом в Александрии был окружен домами стольких родственников Ли, что кажется, будто это семейный комплекс Ли, но Картеров было еще больше, и когда он был готов к школе, его отправили в одну из двух "семейных школ", которые Картеры содержали для своих собственных детей: "одну для девочек в Ширли, а другую для мальчиков в Истерн-Вью, округ Фокьер", в доме сестры Энн Элизабет. Этот первый опыт отсутствия в школе был смягчен, несомненно, тем, что все мальчики, посещавшие ее, были кузенами Картеров в той или иной степени, а не чужими, и что школой управляла тетя.
Его уход в школу совпал с тем временем, которое, должно быть, было волнующим для ребенка. В августе 1814 года британская военно-морская эскадра, пробиваясь вверх по Потомаку, бросила якорь у Александрии, штат Вирджиния; ее командующий пригрозил уничтожить город, если не будут переданы все торговые суда и товары. Мэр Александрии под белым флагом сдал город, и в течение трех дней британские рыцари и королевские морские пехотинцы занимали его, захватывая табак, хлопок, вино, спиртные напитки и сигары, а дым от горящей столицы поднимался на другом берегу Потомака. Был ли Роберт Э. Ли свидетелем всего этого, неизвестно, но, будучи семилетним мальчиком, он наверняка знал об этом и слышал рассказы об оккупации от тех, кто остался в Александрии. Это усиливает ощущение того, что Роберт Э. Ли был человеком, более прочно укорененным в XVIII веке, чем тот, в котором он жил: отец, сражавшийся с англичанами под командованием Вашингтона, мать, принимавшая Лафайета в своем скромном александрийском доме, родственники с обеих сторон, подписавшие Декларацию независимости, и родной город, который в его детстве был оккупирован и разграблен англичанами. В детстве его повсюду окружали напоминания о Джордже Вашингтоне - знаменитый портрет Вашингтона в полный рост Чарльза У. Пила висел в столовой в Ширли, в Арлингтоне хранились его мундиры, мечи и большая часть мебели, а в доме все еще оставались рабы, достаточно взрослые, чтобы помнить, как они ему прислуживали. Неудивительно, что на протяжении всей своей жизни Ли смотрел на прошлое с ностальгией и благоговением или искал в нем уроки, которые научили бы его противостоять совершенно новой и другой Америке.
В возрасте двенадцати лет он поступил в Александрийскую академию, дневную школу, основанную в 1785 году, одним из первых попечителей которой, что неудивительно, был Джордж Вашингтон. Там он познакомился с латынью и классикой, приобретя за три-четыре года вкус к первой, который он сохранил на всю жизнь; а также с математикой, к которой у него были замечательные способности, которые пригодятся ему в будущем.