Каким бы непоколебимым ни выглядел Ли перед своими людьми, он не был жизнерадостным. Всего через десять дней после принятия назначения на пост главнокомандующего он написал Джону К. Брекинриджу, новому военному секретарю Конфедерации, что "может возникнуть необходимость оставить все наши города, и следует подготовиться к этой непредвиденной ситуации". Он также призвал сосредоточить "все наши армии" в Вирджинии, "поскольку по отдельности они, похоже, не в состоянии выступить против врага". Это была реалистичная, но неутешительная оценка - события на местах стремительно перечеркивали контроль правительства Конфедерации над тем, что осталось от нее. Ли уже подумывал о том, чтобы перебросить припасы и снаряжение из Ричмонда в Линчбург, где он мог бы удержать узел железных дорог Саутсайд и Дэнвилл, "чтобы сохранить связь с Севером и Югом, насколько это возможно, а также с Западом". О его душевном состоянии лучше всего можно судить по его письму от 21 февраля миссис Ли: "Если придется оставить нашу позицию, чтобы избежать окружения, что вы будете делать? Останетесь ли вы или покинете город?". К этому он добавил, зная, что Мэри Ли почти наверняка поступит именно так, как хочет: "Вы должны обдумать этот вопрос и принять решение".
Как раз в то время, когда Ли раздумывал, оставлять ли Петербург, его дочь Агнес, демонстрируя смелую независимость женщин Ли, решила принять давнее приглашение посетить город. Ее отец опасался, что она отложит визит на потом, но это не помешало ей отправиться на поезде в Петербург, который постоянно подвергался артиллерийским обстрелам, чтобы остановиться у своих друзей - семьи Мид. Она отметила, что жители Петербурга, казалось, не обращали внимания на разрывы пушечных снарядов на улицах. В первый же вечер военный оркестр "исполнил серенаду в доме Мидов" в честь присутствия одной из дочерей Ли, и "Агнес осыпала галантных музыкантов свежими розами". На следующий день Агнес отправилась на ферму, где находился штаб Ли, но обнаружила, что его отозвали из-за проливного дождя. На следующее утро он написал ей "поспешную [но любящую] записку".
Моя драгоценная малышка Агнес,
Мне так жаль, что я не пришел к вам вчера. Я мог бы убедить вас остаться со мной. Если бы вы остались или вышли сегодня в четыре часа утра, я мог бы увидеть вас своими усталыми сонными глазами. Теперь же я... не знаю, когда буду иметь удовольствие видеть вас.
Ли видел все признаки подготовки Гранта к атаке на линии Конфедерации и понимал, что в данный момент он мало что может сделать, чтобы остановить неизбежное. Тем не менее он был полон решимости сражаться дальше. Он предсказал, что Грант собирается "оттянуть на себя левый фланг с намерением охватить меня", именно это Грант и имел в виду, и убеждал своих офицеров в важности дисциплины. "Вид ровной, непрерывной линии более грозен для противника и делает его прицел менее точным, а огонь менее эффективным", - писал Ли, подчеркивая, что дисциплина имеет большее значение на поле боя, чем "численность или ресурсы". Однако он отметил, что его способность быстро перемещать армию сильно затруднена тем, что "кавалерия и артиллерия... все еще разбросаны из-за нехватки провианта, а наши поезда с провиантом и боеприпасами, которые должны быть с армией на случай внезапного движения, отсутствуют, собирая провиант и фураж". Еще более серьезной проблемой было то, что "состояние уныния, которое сейчас преобладает среди наших людей, плохо влияет на войска". Ли мало что мог с этим поделать. 24 февраля в длинном письме губернатору Северной Каролины Вэнсу он указал, что на войска "в значительной степени влияют письма... написанные их друзьями из дома", в которых они сообщают "своим друзьям в армии, что наше дело безнадежно, и что им лучше позаботиться о себе". Дезертиры обычно забирали с собой оружие, часто присоединялись к большим группам других вооруженных дезертиров, и во многих местах ополченцам было трудно их задержать. 9 марта, в ответ на ответ губернатора Вэнса, Ли согласился выделить два отряда войск с приказом "не брать пленных среди тех дезертиров, которые оказывают сопротивление с оружием в руках гражданским или военным властям". Ли все еще надеялся, что, сосредоточив все оставшиеся силы Конфедерации в Виргинии, он сможет провести там последнее сражение и победить Гранта, возможно, дав Конфедерации новую жизнь. На самом деле именно этого Грант боялся больше всего. Если затянувшуюся кампанию вокруг Петербурга и Ричмонда не завершить быстро, общественное мнение на Севере может обернуться против войны, которая, как многим казалось, затягивалась вечно.