Сегодня, конечно, трудно понять значение фортов в нью-йоркской гавани, которые сохранились в основном в виде географических названий, но в те времена, когда единственным потенциальным врагом Соединенных Штатов считалась Великобритания, форты Гамильтон и Лафайет в Нэрроуз и две артиллерийские батареи на Статен-Айленде имели национальное значение, являясь основной защитой Нью-Йорка и его гавани от набега или высадки королевского флота. В конце концов, еще были живы люди, которые могли вспомнить, как в 1776 году британский флот стоял на якоре в нью-йоркской гавани, а "Юнион Джек" развевался над городом до 1783 года. Конечно, оглядываясь назад, мы знаем, что к 1841 году оборона нью-йоркской гавани от британцев была пустой тратой времени и денег, но это показатель растущей репутации Ли, что его выбрали для надзора за тем, что тогда считалось жизненно важным элементом национальной безопасности.
Беглого осмотра было достаточно, чтобы понять: работа предстоит долгая - достаточно долгая, чтобы Ли твердо решил иметь рядом с собой семью, хотя вряд ли он мог представить, что она займет почти пять лет его жизни. Сразу за фортом Гамильтон, расположенным в тихом, лиственном районе Бруклина, находились квартиры для женатых офицеров, но они, как и сам форт, сильно обветшали. Очевидно, все в форте Гамильтон полагали, что Мэри Ли поспешит на север и быстро наведет порядок, но Ли знал свою жену лучше, чем она, и решал этот вопрос в обычном шутливом, но резко критическом стиле, присущем многим его письмам к Мэри. Он позаботился о том, чтобы похвалить местность вокруг форта и оздоровительный эффект "Морского бриза", который он описал, несколько оптимистично, так как зима была "очень прохладной", но далее сказал об их каюте: "Хорошая жена янки скоро привела бы ее в порядок". Очевидно, он не ожидал, что его жена-виргинка будет белить стены или полировать полы, хотя его сослуживцы были удивлены тем, что он ищет слуг для выполнения работы, которую, по их мнению, должна выполнять жена. "Меня плохо подбадривают насчет слуг, и все [здесь], похоже, занимаются своими делами", - писал он, имея в виду, что жены сами готовили и вели домашнее хозяйство. "Они, кажется, удивляются моим просьбам о помощи, у них тоже есть жена, и, похоже, у них есть некоторые сомнения в том, обладаете ли вы всеми своими способностями". Интересно, что Мэри не взяла с собой никого из слуг из северного Арлингтона; возможно, это отражение трудности предотвращения побегов рабов, когда они оказывались в северном штате. Как бы то ни было, Ли сам закупал мебель и товары для дома, хотя цены на них в Нью-Йорке приводили его в ужас, и ему удалось найти для Мэри кухарку и горничную.
В защиту Мэри можно сказать, что она уже родила пятерых детей в период с 1832 по 1841 год (и еще двоих), несмотря на слабое здоровье и начавшийся артрит, и большую часть своей жизни провела под присмотром внимательных рабов и балованная снисходительными родителями. Мэри была гораздо жестче и проницательнее, чем ей приписывают, что она продемонстрировала во время и после Гражданской войны, но Ли, должно быть, прекрасно знал, что работа по дому и приготовление пищи не входят в число ее умений. Он притворялся, что терпит и забавляется ее неудачами в этой области, но время от времени в его словах проскальзывают нотки критики или, может быть, раздражения, которые не могли остаться незамеченными.