Для человека, чье здоровье было таким слабым, как у нее, Энн Картер Ли, похоже, обладала активным и решительным духом и вела насыщенную жизнь. Возможно, ее поддерживали сильная сила воли, беспрекословная религиозная вера, "миссионерское рвение" и глубокое чувство ответственности перед детьми. Несмотря на плохое здоровье, она много передвигалась по миру в те времена, когда могла позволить себе лошадей для кареты, останавливаясь у близких или дальних родственников в их больших домах, где ей и ее детям всегда были рады: Ширли, где она выросла; Равенсворт с его 22 000 акров земли и Чатем (оба дома Уильяма Фицхью, дальнего родственника, который подружился с Энн и предоставил ей свой дом в Александрии); Арлингтон, дом сестры Уильяма Фицхью Мэри, которая вышла замуж за Джорджа Вашингтона Парка Кьюстиса, приемного сына Вашингтона; Стратфорд, ныне принадлежащий Генри Ли IV, старшему сыну ее мужа от первого брака - череда величественных особняков с бесчисленными слугами и рабами, которые, должно быть, приносили некоторое облегчение от тесного дома в Александрии и ее постоянных финансовых забот, а также давали ее детям возможность познакомиться с грубой и шумной деревенской жизнью.
Энн Картер Ли, похоже, еще в раннем детстве выбрала Роберта как самого ответственного и надежного из своих детей. Она доверила ему ключи от шкафов и кладовых, отправляла его за покупками с корзинкой на плече и важной задачей - принести домой нужную мелочь. Она поручила ему присматривать за четырьмя рабами семьи Картер и выполнять функции семейной няни в случае болезни, которых было немало. Его забота о ней, когда он был маленьким мальчиком, просто поразительна. Он сопровождал ее в поездках, которые должны были быть полезны для ее здоровья, а в холодные дни "иногда доставал свой нож и притворялся, что защищает от ветра, засовывая бумагу в щели" семейной кареты.
Она твердо решила, что Роберт не вырастет таким же, как его отец, и посвятила много времени и сил его духовному благополучию. Для этой задачи она подходила необычайно хорошо; ее немногочисленные сохранившиеся письма свидетельствуют о потрясающих богословских познаниях, а также о точном чувстве добра и зла и глубокой духовной вере. "Самоотречение, самоконтроль и строжайшая экономия во всех финансовых вопросах были частью кодекса чести, которому она учила его с младенчества", и в зрелые годы Роберт Э. Ли часто говорил, что "всем обязан" своей матери. Это не значит, что она была каким-то религиозным фанатиком; ее сильный религиозный энтузиазм и абсолютная вера в Божью волю были нормальными для ее времени и эпохи, и, хотя и в другой форме, не более необычными, чем у Авраама Линкольна или Джона Брауна. Хотя религиозные корни ее семьи лежали в более мягком и формальном протестантизме Вирджинии конца XVIII века, перешедшем из Англиканской церкви Англии, Энн Картер Ли во многом была ребенком Второго Великого пробуждения, прокатившегося по Америке в начале XIX века, создавшего порой поразительные новые религиозные деноминации и сделавшего больший акцент на необходимости спасения и личной набожности, а не просто на посещении традиционных религиозных служб. Ее убеждения были теми, которые мы сейчас назвали бы евангельскими, и ей хватило силы духа и целеустремленности, чтобы на всю жизнь запечатлеть их в своем сыне Роберте - ведь самое поразительное в его письмах - это его пожизненная, простая, непоколебимая вера в необходимость безропотно принимать волю Божью и его глубокая вера. "Все в руках Божьих" - эту фразу он произносил часто, но не в духе фатализма, а в духе уверенности. Интенсивность религиозных убеждений Ли была одним из элементов, сделавших его грозным воином, а также одной из причин, почему он остается столь широко почитаемым не только на Юге, но и на Севере - не только как герой, но и как своего рода светский святой и мученик.
Однако эта религиозность не сделала его лишенным чувства юмора или менее одухотворенным, чем любой нормальный ребенок. Когда он впервые пошел в школу, в возрасте семи лет, он "стал немного упрямым" и властным - возможно, это было естественной тенденцией для мальчика, в жилах которого текла кровь Ли и Картера, а когда мать поинтересовалась его поведением, ей сообщили, что лучшим советом было "хлестать и молиться, молиться и хлестать", так что, вероятно, он не был свободен от случайных детских шалостей, несмотря на усилия его биографов придать ему, как и его кумиру Вашингтону, неправдоподобное совершенство. На протяжении всей жизни он был склонен к семейным шуткам, поддразниваниям, легкому флирту и хорошей беседе - только на публике он демонстрировал "мраморное лицо", которое так впечатляло тех, кто за него сражался.