На невысокое мнение Ли об этой местности, возможно, повлияла продолжительность исследования, которое растянулось с первоначально запланированного одного месяца до пяти, а также тот факт, что Мэри была беременна и родила их второго ребенка, дочь, в июле, пока он отсутствовал. Ребенок был здоров, но роды у Мэри были тяжелыми, и ее выздоровление ознаменовалось первой из многих болезней, от которых она будет страдать всю жизнь и которые в конце концов сделают ее инвалидом. Она, очевидно, написала Ли и попросила его вернуться домой, так как в конце августа он сурово ответил ей из Детройта: "Но почему вы настаиваете на моем немедленном возвращении и самым решительным образом склоняете меня к тому, чтобы попытаться освободиться от исполнения долга, возложенного на меня моей профессией, ради чистого удовлетворения моих личных чувств?" Очевидная суровость этого письма может быть результатом нежелания Мэри откровенно рассказать ему о том, как она больна, ведь когда он вернулся домой в начале октября, он был встревожен ее состоянием, которое он объяснил тем, что она "слишком рано стала активной", хотя ее симптомы, похоже, были более серьезными, чем те, которые могли быть вызваны только активностью, и могли включать "какую-то тазовую инфекцию". В соответствии с героическими медицинскими традициями того времени, врачи пустили ей кровь, вскрыв вену, и провели "обхватывание" - болезненную процедуру, которая заключалась в нагревании маленьких стеклянных чашек на огне и прикладывании их к коже - без каких-либо улучшений. В конце концов два больших "абсцесса, образовавшихся у нее в паху, лопнули" (на самом деле второй абсцесс вскрыл тот же хирург, который делал кровопускание и прикладывал кубок); это вроде бы помогло, но Мэри еще некоторое время оставалась слабой и прикованной к постели, а дети заболели "коклюшем", после чего их мать подхватила свинку. Мэри родила еще пятерых здоровых детей, но с этого момента ее собственное здоровье всегда было главной заботой мужа, хотя единственное, что он мог для нее сделать, - это периодически возить ее в тот или иной из многочисленных теплых "минеральных источников" Вирджинии, которые в XIX веке считались восстанавливающими. Вероятно, светская жизнь на этих курортах была для нее не менее полезной, чем вода, и они стали регулярной частью распорядка дня семьи Ли. Частые беременности, несомненно, сказались на ее здоровье, хотя в те времена они, конечно, считались нормальными (королева Виктория установила стандарт для англоязычного мира, родив девять детей), и она становилась все более калекой из-за ревматоидного артрита.
В течение всего 1836 года Ли был измотан болезнями Мэри и утомительной работой. Лихой молодой выпускник Вест-Пойнта превратился в перегруженного работой военного бюрократа и мужа, постоянно беспокоящегося о здоровье жены и детей. "Я никогда не видел человека, настолько изменившегося и опечаленного", - заметил один из его родственников. Ли всерьез подумывал об уходе из армии и жаловался своему другу Талкотту на собственные "проволочки" и невезение. Его не утешило повышение в звании со второго до первого лейтенанта - скромный шаг вперед для человека, который служил в армии почти семь лет. Сам Талкотт уволился из армии и начал успешную карьеру инженера-строителя, но никто не потянулся за Ли в так называемый частный сектор, а он, казалось, не мог сделать первый шаг - в конце концов, армия была его жизнью с 1825 года, и он никогда не думал о чем-то другом. Медленное (но временное) улучшение здоровья Мэри и природные красоты Арлингтона немного приободрили Ли и подтолкнули его к тому, чтобы описать Талкотту виргинские пейзажи, которые он любил: "Страна сейчас выглядит очень мило, - писал он почти лирически в мае 1836 года, - а холм в Арлингтоне покрыт зеленью и благоухает цветами деревьев, цветами сада, медоносными сосенками, желтым жасмином и т. д.". Этот кокетливый Ли сильно отличается от величественного "Мраморного человека" из легенд или сурового полководца, которым он стал впоследствии и чье седое бородатое лицо украшает бесчисленные статуи и картины. Он продолжал добавлять флирт к "Талкотт, моя красавица" в своих письмах к ее мужу, описывая ее как "шедевр с голубыми глазами" и рассуждая о том, сколько у нее будет детей и можно ли устроить так, чтобы, когда они вырастут, они вышли замуж за него.