Когда она вернулась с "мастером Кустисом", как Ли в шутку называл их младенца-сына, домашние условия в форте улучшились. Капитан Талкотт женился на Гарриет Рэндольф Хакли, известной всем, включая Ли, как "прекрасная Талкотт", а его овдовевшая сестра и ее дети съехали. Таким образом, Ли смогли переехать наверх, в более просторные помещения, чем две маленькие комнаты, которые они изначально делили, а также получили больше возможностей для уединения. Однако, поскольку Гарриет Талкотт вскоре забеременела, а Мэри Ли родила маленького ребенка, в покоях, отведенных для офицеров-инженеров, должно было быть достаточно домашнего уюта, чтобы удовлетворить даже Роберта Э. Ли. В то время Ли владел четырьмя рабами своей матери, а Мэри привезла одного из Арлингтона, так что недостатка в помощи они не испытывали, хотя Ли и заметил, что они подменяют количество качеством, не сумев предложить разумной альтернативы, кроме как сказать, что Мэри могла бы попробовать нанять того, кто был бы лучше обучен. Конечно, это была именно практическая, а не моральная проблема рабства - у рабов не было особого стимула оттачивать свои навыки, а хозяин оставался с ними на всю жизнь, если только не продавал их или не сдавал в наем.
Гарриет Талкотт должна была сыграть в жизни Ли большую - возможно, даже запредельную - роль. Даже такой преданный биограф, как Эмори М. Томас, называет их отношения "затянувшейся шуточной любовной интрижкой", хотя разделяла ли Харриет эту фантазию, определить трудно. Ли определенно не делал ничего, чтобы сохранить свой интерес к ней в тайне - он дошел до того, что включал в письма мужу Гарриет то, что было равносильно billets-doux, когда они находились вне форта, и в инженерном крыле форта Монро от внимания Мэри не могло ускользнуть, что Ли был очарован Гарриет или, по крайней мере, решил сыграть роль влюбленного слабака для собственного развлечения. Если на портрете Мэри Кьюстис изображено довольно простое лицо с тонкими губами, то портрет Гарриет Талкотт, напротив, демонстрирует несколько пышную красоту: экстравагантно оголенные плечи, рот, напоминающий рот Клары Боу, "девушки 1920-х", со знаменитыми губами-пчелками, длинная изящная шея и копна светлых волос. Судя по всему, она была остроумна и умна.
Несомненно, все это было достаточно невинно - нет никаких признаков того, что Ли когда-либо изменял Мэри с Гарриет или с кем-либо еще, - но это странная сторона характера Ли, эта потребность играть в капризного любовника не только с Гарриет, но и с другими женщинами. Когда Гарриет родила своего первого ребенка, дочь, Ли написал ей восторженную записку, в которой настаивал на том, чтобы его сын "мастер Кустис Ли" стал будущим мужем ее дочери, и даже намекал, окольными путями, что он отец ее девочки, и говорил о "романе дю Кёр" между ним и Гарриет, который был в значительной степени, если не полностью, воображаемым с его стороны. Все это не изменило его любви к Мэри, и он действительно часто писал ей об этих фантазиях, как будто она могла разделить его удовольствие от флирта с другими женщинами. Он писал Мэри, которая в то время была в Арлингтоне, о том, как сопровождал "мисс Джи", добавляя: "Как я щеголял. . . . Как бы ты торжествовала над моим счастьем". Он писал своему старому другу Маккею в Саванну, что красивые девушки заставляют его сердце "раскрываться для них, как цветок для солнца", и еще: "Что касается дочерей Евы в этой стране, то они сформированы в самой поэзии природы, и от них у вас заалеют губы и задрожат пальцы. Они начинают собираться, чтобы опустить свои прекрасные конечности в эту соленую воду" - отсылка к модной в то время вере в морские купания, почти полностью одетые, как средство оздоровления. Романтическая, лирическая сторона Ли была полностью сформирована и сильна, очевидно, не была удовлетворена браком и оставалась неизменной на протяжении всей его жизни. Дело не столько в том, что он был руэ-манке, хотя и это может быть правдой - в конце концов, он был сыном крепкого руэ XVIII века и сводным братом человека, безнадежно погрязшего в сексуальных скандалах, - сколько в том, что он всю жизнь испытывал потребность в восхищении и девичьей болтовне молодых женщин, в обществе которых его обычно сдержанный характер расширялся и обретал новое измерение. Мэри, к ее чести, кажется, понимала, что это не представляет угрозы для их брака. Его друзья-мужчины и современники, такие как Маккей и Талкотт, похоже, тоже понимали это, ведь Талкотт был начальником и близким другом Ли, а также мужем Гарриет, но это та сторона Ли, которая наверняка удивила бы тех, кто сражался под его командованием в Гражданской войне.