Вдали от семьи он продолжал беспокоиться о каждой детали их жизни. Миссис Ли вместе с двумя дочерьми, Милдред и Агнес, приняла гостеприимство друзей семьи в их поместье на реке Джеймс, к западу от Ричмонда, оставив свою дочь Мэри Кэстис "набираться сил и веса". Не успела миссис Ли приехать, как поскользнулась на полированном деревянном полу и поранилась. Несмотря на мольбы мужа и врачей, она отказалась лечь в постель и, похоже, ничуть не пострадала от несчастного случая. Письма Ли всегда были полны любви и добрых советов, большинство из которых миссис Ли игнорировала, как и ее дочери. Хотя он призывал Милдред ("Драгоценная жизнь") продолжать вязать, она проводила большую часть времени за игрой на фортепиано и чтением. Он убеждал Мэри Кьюстис присоединиться к матери и сестрам в деревне, но она осталась в Ричмонде на большую часть лета, чтобы побыть с друзьями, пока жара не заставила ее уехать. И миссис Ли, и девочки много вязали, в основном носки, энтузиазм которых, возможно, был приглушен тем, что Ли отдавал их солдатам, которые нуждались в них больше, чем он сам. Женщины Ли были не одиноки. По всему Югу женщины вязали подарки и отправляли их генералу Ли, который раздавал их все - войскам или раненым в госпиталях. К отчаянию своего буфетчика и адъютантов, он раздал бесчисленные корзины с деликатесами. Интересно отметить, что когда нижнее белье генерала нуждалось в замене, новое кроила и шила миссис Ли, несмотря на ее артрит, хотя Ли, в своей обычной мягкой дразнящей манере, предположил, что более "проворные пальцы" Агнес могли бы быть использованы для их изготовления, предположительно в качестве подготовки к браку. Это предположение, похоже, тоже осталось без внимания.
Когда Ли проводил встречи в Ричмонде, он всегда посещал дом 707 по Франклин-стрит, скромный дом, который его старший сын, Кустис ("Бу"), снимал у мистера Джона Стюарта, и в котором теперь обычно жили его жена Мэри и дочери. Эти краткие проблески домашнего уюта были для Ли большим утешением, и, судя по отзывам посетителей дома, даже миссис Ли, несмотря на немощь и боль от потери Арлингтона, была в лучшем расположении духа, чем раньше - "казалось, она становилась все мужественнее и спокойнее по мере того, как новости с фронта становились все хуже".
Осень 1864 года принесла мало хороших новостей. Грант не прорвал линии Ли вокруг Петербурга, но теперь практически не было шансов, что Ли сможет вырваться, как и не было возможности обеспечить его достаточным количеством продовольствия и фуража. Племянник Ли генерал-майор Фицхью Ли * описывал солдат своего дяди как "оборванных, галантных парней... чьи щеки говорили о том, что их мучает голод, а дрожащие формы свидетельствовали об отсутствии надлежащей одежды". Как и Ричмонд, армия Северной Вирджинии находилась в осаде. Поражение было лишь вопросом времени, если не сказать чудом. В ноябре стало ясно, что чуда не будет - Линкольн был переизбран с перевесом в 400 000 голосов избирателей и победил во всех штатах, кроме трех, став первым президентом, выигравшим второй срок со времен Эндрю Джексона.
Письма Ли военному секретарю и президенту Дэвису были полны жалоб на нехватку пайков и одежды для его людей - в некоторых полках, указывал он, "не было обуви и у пятидесяти человек"; крошечные порции прогорклого бекона и заплесневелой кукурузной муки - все, чем он мог накормить свои войска. Полное отсутствие мыла, жаловался он, было причиной огромных страданий; и, возможно, неудивительно, что с наступлением зимы число дезертиров "тревожно возросло". За четыре дня до Рождества генерал Шерман завершил свой марш через Джорджию к морю, взяв Саванну. Это был лишь вопрос времени, когда он повернет свою армию на север, чтобы присоединиться к Гранту под Петербургом. Ситуация была слишком критической, а страдания его войск слишком велики, чтобы Ли мог провести Рождество с семьей.