Как оказалось, семья Ли покинет Сент-Луис только весной 1839 года, когда Мэри уже была на восьмом месяце. Они вернулись домой за почти рекордное для того времени время: на пароходе до Уилинга, штат Вирджиния; на частном трамвае до Фредерика, штат Мэриленд; затем на поезде до Вашингтона - в общей сложности одиннадцать дней, последние несколько из которых даже Дуглас Саутхолл Фримен, который время от времени проявляет определенное нетерпение к проблемам Мэри Ли, описывает как "тяжелое путешествие".
Ли пробыл в Арлингтоне всего две недели, прежде чем отправиться обратно в Сент-Луис, поэтому он не присутствовал при рождении Энн Картер Ли 18 июня и получил известие об этом только около 1 июля, к тому времени он уже вернулся в Сент-Луис. Его поспешное возвращение было вызвано отчасти тем неизбежным фактом, что работы на Миссисипи могли проводиться только в летние месяцы, когда вода была низкой, а отчасти тем, что его наставник генерал Гратиот был отстранен от командования Корпусом инженеров в декабре 1838 года после долгой вражды по поводу его счетов, которая была окончательно решена против него президентом. Говоря современным языком, речь шла о том, был ли оправдан отнесение Гратиотом определенных сумм на свой счет расходов и их возмещение; в ретроспективе кажется, что это был скорее вопрос политики, чем доказательство нечестности со стороны Гратиота, но Ли воспринял результат плохо и правильно опасался, что преемник Гратиота будет менее заинтересован в сохранении Сент-Луиса как порта - в конце концов, Сент-Луис был родным городом Гратиота. Возможно, проблема Гратиота заключалась лишь в том, что он не разделял почти навязчивого стремления Ли отчитываться за все до последнего пенни. Как правило, переписка Ли с Генри Кайзером невероятно подробна в отношении денег: "Я оплатил счет мистера Рикета за уход и конопатку "Жемчужины", сумма чека № 24 - 48,22 доллара... Это, согласно моей памяти, оставит в указанном банке в мой кредит 841,77 доллара, а не 840,57 доллара, как вы утверждаете" - один из примеров того, как Ли всю жизнь стремился сохранить идеальный контроль над своими финансами, какой бы низкой ни была его зарплата, и тем более над доверенными ему государственными деньгами. Он с готовностью включился в защиту Гратиота, собрал счета и бумаги генерала, пока находился в Вашингтоне; но даже он не смог выудить из них правду и в конце концов пришел к выводу, что Гратиот стал жертвой политических интриг и что нарушения, в которых обвиняли генерала, были лишь предлогом для его смещения. Как бы то ни было, одним из последствий падения Гратиота стало повышение (если это было возможно) требовательности Ли к деньгам и количества времени, которое он тратил на сведение счетов.
Улучшения, которых Ли добился, начав работы по строительству дамб на Кровавом острове, уже начали углублять канал в Сент-Луис и размывать часть песка вокруг острова Дункан, как он и предсказывал - и действительно, то, что Ли был на правильном пути, было наглядно продемонстрировано, когда разъяренные жители Иллинойса открыли огонь из пушек по некоторым из его рабочих бригад, опасаясь, что его планы уменьшат глубину канала на их стороне Миссисипи и отрежут их от потенциально "прибыльной" торговли; Возможно, это еще один пример растущей раздражительности и поворота к насилию штатов друг против друга, которые будут усиливаться в течение следующих двадцати лет. К счастью, здравый смысл возобладал, и землевладелец на иллинойской стороне реки, где надеялись построить портовый город, способный соперничать или даже затмить Сент-Луис, обратился к более мирным средствам и добился от судьи Второго иллинойского округа запрета на прекращение работ на Кровавом острове. Ли был обескуражен - дело будет рассматриваться на очередной сессии суда только в феврале 1840 года, а пока он не мог добиться дальнейшего прогресса в Сент-Луисе. Вместо этого он обратил свое внимание на два порога выше по течению, где его рабочие уже начали убирать огромные валуны и плиты известняка, каждый из которых весил более тонны, чтобы начать расчищать судоходный канал как в северном, так и в южном порогах - выдающийся подвиг гражданского строительства. Тем не менее, в письмах Ли все больше чувствуется разочарование, как будто увольнение генерала Гратиота и предписание убедили его в том, что его работа на Миссисипи, как он ее планировал, останется незавершенной или, по крайней мере, не будет им завершена. Если так, то он был прав.