Джонстон выбрал именно этот момент для того, чтобы 8 мая пригрозить отставкой своего командования. В резко сформулированном письме Ли жаловался на ограничение своих полномочий, которые, как он писал, "не выходят за пределы войск, непосредственно окружающих меня", - жалоба, очевидно, была адресована Ли, - и просил "освободить его от чисто номинального географического командования". На самом деле он начал свое письмо с саркастической жалобы на адъютанта Ли У. Х. Тейлора: "Я только что получил три письма из вашего офиса, подписанные "R. E. Lee, gen'l, by W. H. Taylor, A. A. G.", * , написанные от первого лица, все датированы вчерашним днем. ... . . В одном из них сообщается, что некоторые мои предполагаемые приказы были отменены вами или "W. H. Taylor, A. A. G."". Ли тактично сдержал гнев Джонстона и проигнорировал его заявление об отставке, указав, что майор Тейлор, которого Джонстон знал, лишь выполнял свою работу: "Те [письма], на которые вы ссылаетесь как на полученные вчера, были подготовлены для моей подписи, но, будучи неожиданно отозванным, и не желая задерживать гонца, я поручил майору Тейлору поставить мою подпись и отправить вам". Как бы ему ни было неприятно объяснять и оправдывать совершенно обычные процедуры в своем офисе, Ли отказался втягиваться в гневную переписку. К 9 мая Джонстон несколько успокоился и отказался от угрозы отставки, но все же нашел время написать Ли резкое письмо из 400 с лишним слов, в котором сначала жаловался на свои войска ("Бродяги покрывают всю страну, и Ричмонд, без сомнения, заполнен отсутствующими без отпуска"), а затем вернулся к своей первоначальной теме, что все войска в Ричмонде и его окрестностях должны находиться под его командованием. ("Если это командование [мое] включает в себя департамент Северная Вирджиния, то эта армия Севера является его частью; если нет, то мое положение должно быть определено заново. Для нас нет ничего более необходимого, чем четкое понимание полномочий каждого офицера"). Ли не хотел уступать в этом вопросе не потому, что сомневался в способностях Джонстона, а потому, что не соглашался с его стратегией.
Это были тревожные моменты для Ли и на личном уровне. 11 мая Мэри Ли и две ее дочери, Энни и Милдред, были вынуждены покинуть дом своего сына Руни и укрыться в соседском доме поменьше и менее заметном на плантации Уайт-Хаус. Они все еще находились менее чем в десяти милях от Вест-Пойнта, где река Памунки впадает в Йорк, - места высадки тех дивизий Макклеллана, которые были отправлены в Ричмонд, а не медленно продвигались вверх по полуострову. Перед тем как покинуть Уайт-Хаус, Мэри прикрепила к двери вызывающую прощальную записку:
Северные солдаты, исповедующие почтение к Вашингтону, не позволили себе осквернить дом его первой супружеской жизни, собственность его жены, которой теперь владеют ее потомки. ВНУЧКА МИССИС ВАШИНГТОН. ВАШИНГТОНА.
18 мая в дом, куда она переехала, вошел отряд войск Союза во главе с двумя офицерами и потребовал сообщить, кто она такая. Миссис Ли без колебаний дала им знать и решительно высказала офицерам свое возмущение тем, что ее держат в доме и охраняют часовые. Эти два офицера Союза были помощниками бригадного генерала Фиц Джона Портера, который, как она жаловалась, был "любимым гостем" в Арлингтоне до войны. Они терпеливо объяснили, что часовые были приставлены генералом Портером для ее собственной защиты и что она ни в коем случае не является пленницей. В конце концов Портер разрешил Мэри переехать дальше вверх по реке, в дом Эдмунда Руффина, знаменитого сепаратиста, который первым выстрелил из пушки в форте Самтер. Ли удалось отправить двух адъютантов под флагом перемирия на встречу с генералом Макклелланом и попросить, чтобы его жене и дочерям разрешили присоединиться к нему, но только 10 июня были достигнуты договоренности о том, чтобы отправить карету через линию фронта и доставить их обратно в Ричмонд. Как бы ни была возмущена миссис Ли тем, что оказалась "в руках" федеральных войск, можно только поразиться вежливости, проявленной к ней генералами Портером и Макклелланом, и такой же вежливости, проявленной генералом Ли по отношению к генералу Макклеллану в обеспечении ее освобождения. Ли также, кажется, не стал указывать Мэри на то, что именно это, как он предупреждал, может произойти, если она останется в Уайт-Хаусе. Тем не менее чувства Мэри Ли достаточно легко понять: теперь она была вынуждена оставить два отцовских дома: Арлингтон, который вскоре превратится в военное кладбище Союза, и Уайт-хаус, который солдаты Союза вскоре сожгут дотла, "вопреки приказу генерала Макклеллана", хотя это вряд ли могло ее утешить.