В то же время его главной задачей было преодолеть нежелание солдат копать. Несмотря на это, он создал ряд укреплений, которые обескуражили даже бригадного генерала Уильяма Текумсеха Шермана. Ли был разгневан тем, что американский флот потопил "полдюжины старых кораблей", чтобы перекрыть главный канал к Чарльстону, что было "достижением... недостойным любой цивилизации". ...недостойное любой цивилизованной нации", как Ли описал это в редкой вспышке гнева. Он почувствовал облегчение от того, что Мэри Ли наконец-то поселилась в Уайт-Хаусе, и сделал паузу, чтобы сорвать несколько фиалок из сада заброшенного дома, который он занимал в Кусавхэтчи, чтобы послать своей дочери Энни. Забота Ли о своей семье усиливалась его гневом по поводу поведения войск Союза, которые, как он опасался, будут распространяться на них в виде "разорения и грабежа", если не хуже, хотя на самом деле с Мэри и их дочерьми обращались очень вежливо, когда они ненадолго попали в руки врага. Он снова написал Мэри на Рождество, призывая ее выбросить Арлингтона из головы. "Что касается нашего старого дома, то если он и не будет разрушен, то его трудно будет узнать. . . . Учитывая количество войск, расположившихся вокруг него, смену офицеров и т. д., отсутствие топлива, крова и т. д., а также все суровые нужды войны, напрасно думать, что он будет в пригодном для жилья состоянии. Боюсь также, что книги, мебель и реликвии Маунт-Вернона исчезнут. Лучше смириться с общей потерей. Они не смогут лишить нас воспоминаний об этом месте и памяти о тех, кто сделал его для нас священным". Это был разумный, если не сказать желанный, совет. С мрачным реализмом он призвал ее не верить слухам о том, что Великобритания признает и поддержит Конфедерацию: "Мы должны принять решение сражаться в одиночку и завоевать свою независимость. Никто нам не поможет".
В середине января 1862 года он сделал паузу в своем путешествии, чтобы посетить остров Камберленд и впервые увидеть могилу своего отца, остановившись лишь на красоте сада и живой изгороди вокруг могилы. В начале марта он все еще трудился над завершением строительства укреплений, защищающих Саванну, и жаловался на "медлительных рабочих".
Хотя Ли удалось предотвратить любое крупное вторжение федералов в Южный департамент, перспективы Конфедерации во всем остальном были мрачными. На западе новый и удивительно эффективный генерал Улисс С. Грант захватил форт Генри на реке Теннесси, а вскоре после этого потребовал и получил капитуляцию форта Донелсон, взяв в плен более 15 000 солдат Конфедерации, поставив под угрозу ее власть над Теннесси и вынудив генерала Флойда бросить командование и бежать, опасаясь, что в случае поимки его будут судить за измену. На востоке ходили слухи, что генерал Макклеллан, сменивший не только генерала Макдауэлла, но и старого наставника Ли генерала Уинфилда Скотта, собрал армию численностью до 130 000 человек и в любой момент может высадить ее на полуострове между реками Йорк и Джеймс и попытаться захватить Ричмонд. Тем временем Генри Уайз, еще одна досада Ли после неудачной кампании в северо-западной Вирджинии, был изгнан с острова, который он должен был защищать в Северной Каролине, потеряв две трети своих людей. Ли не стал злорадствовать, так как у него были причины не любить обоих политиков, ставших генералами, но написал Мэри: "Новости... не очень благоприятные, но мы должны решиться встретить поражения и преодолеть их".
2 марта он получил неожиданную телеграмму из Ричмонда, которая призвала его из достойной, но несколько унизительной службы к славе:
Генерал Роберт Э. Ли,
Саванна:
Если обстоятельства, по вашему мнению, оправдают ваш отъезд, я хочу видеть вас здесь с наименьшей задержкой.
Джефферсон Дэвис
Наступил кризисный момент для Конфедерации и для Ли.
Глава 7. Семь дней. «Сила меча»