С наступлением лета работы на острове прекращались, поскольку даже закаленная рабочая сила из наемных белых и арендованных или взятых в аренду черных рабов не могла вести там раскопки в летние месяцы, когда сочетание жары и комаров делало остров практически непригодным для жизни. Взяв с собой Нэта, Ли отправился домой в длительный отпуск - то есть вернулся в Вирджинию и остановился у друзей, живших неподалеку от Арлингтона, поскольку к тому времени у него уже не было семьи, а его брат Картер переехал в Нью-Йорк. Как бы то ни было, его внимание было приковано к Мэри Анне Кьюстис, которую он, похоже, нежно обхаживал все лето. От его внимания вряд ли ускользнуло, что, хотя миссис Кэстис была довольна его очевидной привязанностью к ее дочери - миссис Кэстис была "родственницей" Ли, что имело большое значение в Вирджинии, а также преданной читательницей романтической фантастики, - мистеру Кэстису это не понравилось. Он любил Ли - тот был одним из немногих молодых людей, готовых слушать его бесконечные воспоминания о Джордже Вашингтоне, и, видимо, даже интересовался ими, настолько он уважал "отца своей страны", - но Кьюстис достаточно хорошо знал Гарри Ли, чтобы иметь сомнения относительно его сыновей, был в курсе скандала вокруг сводного брата Роберта Генри, и в любом случае он не понимал, как Роберт Ли на жалованье армейского лейтенанта мог содержать Мэри в том стиле, к которому она привыкла. За этим беспокойством, вполне естественным для того времени, скрывалась проблема финансового положения самого Кэстиса. Несмотря на величественный внешний вид Арлингтона, который представал перед знаменитым портиком, несмотря на владение многими тысячами акров земли, несколькими другими домами и 200 рабами, Кэстис всегда испытывал острую нехватку наличных денег. Он не был ни благоразумным, ни осторожным управляющим своими делами и любил жить в роскошном стиле, как "приемный сын Вашингтона", в его собственных глазах, по крайней мере, фигура государственной важности, не имея доходов для ее поддержания. Возможно, он надеялся, что Мэри решит свои проблемы, выйдя замуж за состоятельного молодого человека, или опасался расходов на пышную свадьбу, которую она и все остальные будут от нее ждать, или и то и другое, но в любом случае молодой лейтенант Ли не казался ему подходящим мужем, и он дал это понять.
Это, конечно, не отпугнуло ни Роберта, ни Мэри, и, когда Роберт вернулся в Саванну в ноябре, чтобы возобновить работу, между ними явно было некоторое взаимопонимание - они считали себя "помолвленными", вероятно, полагаясь на то, что в конце концов Кустис уступит своей дочери, которая, безусловно, обладала более сильной волей.
На острове Кокспур Ли с ужасом обнаружил, что штормы смыли большую часть работы, проделанной им за предыдущий сезон. Майор Бэбкок больше не появлялся, поэтому Ли и немногие оставшиеся на острове рабочие принялись переделывать все с нуля - не самая радостная перспектива. Нат, отплывший из Нью-Йорка на несколько недель позже своего хозяина, прибыл только к Рождеству, и его здоровье было еще хуже, чем прежде, из-за кошмарного плавания, которое длилось двадцать пять дней в штормовом море. Далеко не "мягкая" зима в Джорджии была аномально холодной, и Нат вскоре заболел и умер. Светская жизнь Ли в Саванне была насыщенной - настолько насыщенной, что он жаловался на это, - но он не мог наслаждаться однообразием копания, хотя постоянное отсутствие майора Бэбкока дало ему почувствовать, чего хочет каждый молодой офицер - ответственности и независимого командования, даже если это всего лишь горстка гражданских, вооруженных кирками и лопатами. В январе из военного министерства наконец пришло известие, что отсутствующего Бэбкока заменит лейтенант Дж. К. Ф. Мэнсфилд. Сведения о том, подал ли Бэбкок в отставку или ушел без отпуска и был арестован, расходятся, и ходят слухи, что миссис Бэбкок сбежала с ребенком. Не успел Мэнсфилд прибыть на остров, как решил, что остров Кокспур никогда не выдержит веса форта, который хотел построить инженерный корпус и который оценивался в 25 миллионов тонн. Мэнсфилд сообщил о своих сомнениях в Вашингтон, и в апреле инженерный корпус наконец-то соизволил отправить на остров Кокспур более старшего офицера, капитана Делафилда, для обследования местности. Затем они приступили к разработке планов форта с помощью Ли в качестве чертежника.