Сент-Луис ни в коем случае не был тяжелым местом службы, по армейскому выражению, фортом на границе, но даже Ли, который был равнодушен к неудобствам, жаловался на летнюю жару и на то, что улицы превращались в удушливые пыльные бури, когда дул ветер летом, были по щиколотку в грязи, когда шел дождь, и превращались в замерзшие колеи зимой, а Мэри писала домой, что ее "заживо пожирают мошки, потому что они густые, как рой пчел, каждый вечер". К счастью, ей нравилось общество семьи Бомонт, с которой они делили дом, и уютные вечера с гостями, когда "Таси" Бомонт, милая и забавная шестнадцатилетняя дочь доктора, играла на пианино, а Ли переворачивал для нее страницы; но вид трапперов, индейцев и азартных игроков на речных судах на улицах, какими бы экзотическими и красочными они ни были, похоже, не вызвал у нее особого интереса. Несмотря на свои особняки и светские претензии, Сент-Луис находился на окраине пограничной зоны и все еще оставался грубым, неспокойным местом.
Хотя семья Ли в конце концов приспособилась к жизни в Сент-Луисе, Мэри большую часть времени болела или, во всяком случае, страдала от того, что Ли называл либо "желчным приступом", либо "вялостью". Можно предположить, что причиной тому были частые беременности, тоска по дому, а также преобладающее медицинское невежество и ошибки того времени. Если читать между строк, кажется, что она рассматривала Миссури как своего рода вынужденную временную ссылку из дома в Вирджинии и не хотела или не чувствовала себя способной присматривать за мальчиками в тех редких случаях, когда Китти отсутствовала. Даже дома в Арлингтоне, в окружении слуг, Мэри жаловалась, что ее "детишки шкварчат", а с одним слугой, который присматривал за ними, их, должно быть, было труднее контролировать. Ее безразличие к тем обязанностям, которые в то время считались "женскими", - вести домашнее хозяйство, по крайней мере, наблюдать на расстоянии за приготовлением пищи и воспитанием детей - постоянно раздражало мужа, хотя он в основном маскировал свое неодобрение довольно принужденным добрым юмором.
Для самого Ли "вялость" никогда не была возможной; он всегда был страшно энергичен. Его расстраивало недостаточное финансирование работ, медлительность рабочей силы, но все же ему удалось начать прокладку каналов через реки Де-Мойн и Рок-Айленд-Рапидс и начать работы по строительству дамбы, которая должна была перенаправить основное течение реки в сторону Сент-Луиса. Один из наблюдателей так комментирует усердие Ли: "Каждое утро с восходом солнца он отправлялся вместе с рабочими и день за днем работал под жарким, палящим солнцем - жара значительно усиливалась из-за отражения от реки. Он разделял тяжелую работу и общую пищу и пайки, предоставляемые простым рабочим, ел за одним столом... но ни разу не сблизился с ними. При любых обстоятельствах он сохранял достоинство и джентльменскую осанку, завоевывая уважение каждого, кто был под его началом". Очевидно, что загорелый молодой первый лейтенант стал предвестником величественного генерала.
В июле Ли наконец-то присвоили звание капитана, спустя десять лет после окончания Вест-Пойнта - долгое ожидание даже по тогдашним меркам, особенно учитывая его обязанности. В противовес этому скромному достижению его работа обязывала остаться в Сент-Луисе до зимы, поэтому они с Мэри пропустили традиционное празднование Рождества с ее родителями в Арлингтоне; это не могло быть легким для Мэри, которая придавала большое значение таким вещам - она впервые оказалась вдали от дома на Рождество. Кроме того, она снова была беременна, а в середине зимы лед на реке не позволял путешествовать на пароходе, а сухопутный путь, как известно, был сложен даже для самых бодрых и здоровых путешественников, не говоря уже о тех, кто был "в деликатном состоянии", согласно эвфемизму того времени. Мэри нелегко было провести Рождество вдали от дочери и ее родителей, и хотя у нее будет еще четверо детей, * сомневается, что она с нетерпением ждала новых родов, учитывая ее опыт в руках врачей, но она, во всяком случае, была полна решимости рожать в Арлингтоне, а не в Сент-Луисе.
Хотя Фримен предполагает, что Ли боялся, что "его семья увеличивалась быстрее, чем его доходы", на самом деле Ли, похоже, был рад перспективе появления еще одного ребенка; как бы он ни жаловался на низкую зарплату в армии, большая семья была тем, чего он хотел больше всего, и немногие отцы проявляли больший интерес к своим детям или наслаждались их обществом больше, чем Ли. Он любил их с такой интенсивностью, которую его собственный отец, который часто отсутствовал и редко проявлял большой интерес к своим детям, никогда не проявлял к нему. Взрослый Роберт Э. Ли словно хотел компенсировать то, что недополучил в детстве от Гарри Ли, став идеальным отцом, и эта роль ему удивительно удавалась, даже когда он был втянут в историю и стал главной фигурой в великих событиях.