Несомненно, семья Ли была в долгу перед Ортоном Уильямсом за то, что он убедил Мэри сделать то, что не смог сделать ее муж. 8 мая Мэри Ли и Агнес покинули Арлингтон в карете Ли и отправились в десятимильное путешествие в Рэйвенсворт, дом ее овдовевшей тети Анны Фицхью, за которыми следовали повозки, перевозившие многие вещи семьи, включая пианино, и все, что они могли упаковать в виде запасов еды и вина. Как ни тяжело было Мэри покидать родной дом, но физические трудности оказались еще тяжелее. Ли не считал ее в безопасности даже в Равенсворте и призывал "удалиться подальше от места военных действий, которые могут ворваться к вам в любой момент". Он также опасался, что присутствие Мэри в Рэйвенсворте может "вызвать раздражение [федеральных властей] у кузины Анны", добавив: "Я действительно боюсь, что вы можете принести ей больше вреда, чем пользы", опасаясь, что федеральные войска могут наказать Анну за то, что она приютила члена семьи Ли. Как обычно, Мэри осталась при своем мнении и не стала слушать. 23 мая она узнала, что 13 000 федеральных войск заняли Арлингтон, разбив палатки на лужайках и вырубив деревья вокруг особняка на дрова. Ее старший сын, Кьюстис, уволившийся из армии США и ожидавший назначения офицером в армию Конфедерации, присоединился к ней и Агнес в Равенсворте, очевидно, раздражая мать своим невозмутимым спокойствием. Мать не могла понять такого отношения, и она написала яростное письмо генерал-майору Чарльзу В. Сэнфорду, нью-йоркскому юристу и бизнесмену, который сейчас командовал оккупационными силами ополчения на Арлингтон-Хайтс: "Мне и в голову не приходило, - писала она, - что меня могут заставить судиться за разрешение войти в мой собственный дом и что такое безобразие, как его военная оккупация без участия меня и моих детей, вообще может быть совершено. . . . Я умоляю вас с вежливостью, приличествующей любой женщине, в которой не может отказать ни один храбрый солдат, позволить моему старому кучеру, которому я посылаю это письмо, получить свою одежду, передать несколько писем моему управляющему относительно фермы и т. д., дать моему рыночному служащему пропуск, чтобы он мог уехать и вернуться из Вашингтона, как обычно, где живет его семья". Далее она долго требовала разрешения для своего садовника Эфраима также посетить Вашингтон, чтобы "моему мальчику Билли" прислали его одежду, а ее горничные Селина и Марселина прислали ей некоторые "мелкие вещи", которые она не забыла упаковать. Сэнфорд был достаточно благоразумен, чтобы передать это письмо своему начальнику на другом берегу Потомака в Вашингтоне, бригадному генералу Ирвину Макдауэллу, который, возможно, не случайно вскоре станет первым генералом Союза, потерпевшим крупное поражение в Первой битве при Булл-Ран (или Первом Манассасе, как ее называли на Юге). Макдауэлл быстро отступил перед возмущенным натиском Мэри Ли и капитулировал с джентльменской вежливостью по всем пунктам.