"Ты должна переехать", - написал он ей в резкой форме 26 апреля. Когда она этого не сделала, через неделю он призвал ее "подготовить все вещи к переезду... ...и быть готовой к переезду в любой момент", но опять безрезультатно. В конце концов ее кузен Ортон Уильямс приехал из военного министерства, чтобы предупредить Мэри, что на следующий день дом займут войска Союза. Утром он снова приехал, чтобы сказать, что занятие Арлингтона откладывается, но не отменяется - она должна действовать, и быстро. Ее дочь Милдред была в школе, а Энни уехала на плантацию Памункей-Ривер со своим братом Руни и его женой, так что Мэри и ее дочери Агнес оставалось только руководить монументальной задачей по упаковке содержимого Арлингтона. Серебро семейств Ли и Кьюстис было уложено в два тяжелых сундука, вместе с личными бумагами Ли и "незаменимыми документами Вашингтона и Кьюстиса", и отправлено по железной дороге в Ричмонд. Семейные портреты и картины мистера Кьюстиса были аккуратно извлечены из рам и перевезены на повозке в Равенсворт для хранения. Ковры, ковровые дорожки, драпировки и книги были сняты и убраны на хранение, как и набор сине-бело-золотого фарфора Общества Цинциннати Джорджа Вашингтона, состоящий из 302 предметов. Наконец, его знаменитый кубок для пунша, * с нарисованным пером и чернилами американским фрегатом внутри, "корпус лежит на дне, мачты выступают до обода", чтобы пьющие могли опорожнить его от верхушек мачт до ватерлинии, был упакован в один из деревянных ящиков, которые были заколочены и убраны в погреб под замок, а последний был доверен одному из арлингтонских рабов: Селине Грей, "личной горничной" миссис Ли.
Лихие визиты лейтенанта Ортона Уильямса к миссис Ли в Арлингтон были частью его безрассудного, хотя иногда и рыцарского поведения, которое вместе с его нескрываемыми южными симпатиями привело к его аресту и краткому содержанию под стражей на острове Губернаторов в Нью-Йорке. Как офицер, служивший в штабе генерала Скотта, он имел доступ к военным планам Скотта, которые, как опасались, он мог раскрыть генералу Ли. Будучи романтиком, "по слухам, он влюбился в дочь своего тюремщика". В июне его досрочно освободили при условии, что он согласится не выезжать на юг в течение месяца, после чего он быстро явился в Ричмонд, чтобы получить звание офицера Конфедерации, хотя Ли, который опасался неустойчивости Ортона, был осторожен и не включил его в свой личный штаб.