Однако ежедневный труд по наблюдению за забиванием свай и заливкой тонн бетона мог сделать перспективу возглавить армию повстанцев против испанской короны привлекательной. У него было достаточно соблазнов встретиться с членами хунты в Балтиморе, но в конце концов Ли отказался по соображениям личной чести: подобает ли офицеру Соединенных Штатов принимать предложение о командовании от представителей иностранной державы - или, в данном случае, от повстанцев против иностранной державы. Не в последний раз в их отношениях Дэвис и Ли по-джентльменски разошлись во мнениях: Дэвис считал, что Ли должен принять предложение, но Ли не поедет без полной гарантии, что армия не будет возражать, а Дэвис не мог ему ее дать. Ли был прав в отношении армейского устава, хотя иронично, что, когда он стал генералом тринадцать лет спустя, тот же вопрос был поднят. Ему пришлось бы сложить с себя полномочия в армии США, чтобы принять командование войсками штата Виргиния. Трудно представить себе Ли во главе красочной армии кубинских повстанцев или в роли этакого вольного военного авантюриста, и Фримен предполагает, что если бы Ли отправился на Кубу, он мог бы закончить свою жизнь перед испанской расстрельной командой в качестве филистера янки, поскольку экспедиция в итоге провалилась; Конечно, возможно, что опыт Ли мог бы увенчать экспедицию успехом, но в любом случае его строгое чувство долга не позволило ему принять участие в экзотическом, пусть и обреченном восстании, и, похоже, он не испытывал по этому поводу никаких сожалений.
Те, кто пишет о Ли как о стратеге, часто отмечают, что во время Мексиканской войны у него не было опыта использования современного оружия и технологий - например, замены гладкоствольного мушкета винтовкой, что увеличило убойную дальность стандартного пехотного оружия с 50 ярдов до 400 или 500 ярдов; или огромных изменений в логистике и тактике, вызванных появлением железной дороги. Но изображать его противником или незнающим того, что мы сейчас называем технологиями, значит недооценивать его. Он помог спроектировать и установить на бесперспективной площадке Соллерс-Пойнт паровую сваебойную машину, а также пилу с паровым приводом, землечерпалку, кран и даже водолазный колокол, позволявший его рабочим вести раскопки глубоко под водой. Его мастерство владения современными машинами позволило ему всего за год завершить первый этап строительства фундамента того, что впоследствии станет фортом Кэрролл. (Полезно помнить, что связь Ли с Революционной войной сделала ее более близкой для него, чем для большинства людей - Чарльз Кэрролл из Кэрроллтауна, в честь которого будет названа крепость, не только знал отца Ли, но и был последним выжившим подписантом Декларации независимости.) * Интерес Ли к науке и механике продолжался всю его жизнь. Вряд ли в армии США был кто-то, кто знал бы больше об артиллерии, особенно о том, как расположить ее наиболее научным образом, или кто имел бы больший опыт и энтузиазм в отношении изменений, которые принесли пароходы и железные дороги. Хотя его осанка и манеры казались принадлежащими концу восемнадцатого века, он твердо стоял на ногах в девятнадцатом.
Пока шли работы по возведению форта, семья Ли обживала свой новый дом. Как обычно, Мэри вела умелую, но в конечном итоге тщетную борьбу за отсрочку отъезда из Арлингтона. Ли в своей мягкой и тактичной манере убедил ее в необходимости того, чтобы дети не начинали новый учебный год в Балтиморе с опозданием. "Мы не должны ради собственного удовольствия упускать из виду интересы наших детей", - писал он, используя моральную позицию, которая была его оружием в убеждении Мэри сделать то, чего она не хотела. Балтимор был полон связей Ли и Кэстисов, начиная с сестры Ли Анны Маршалл; от Арлингтона его отделяло не более пятидесяти миль, так что этот переезд не мог показаться серьезным даже для Мэри. Ли участвовали в оживленной светской жизни города, что могло послужить для Мэри некоторой компенсацией за переезд, а сам Ли был человеком, который наслаждался хорошей компанией и считался оживленным гостем. Его младший сын, Роберт, больше всего запомнил "яркую улыбку" и "игривую манеру" своего отца и отметил, что он был "большим любимцем в Балтиморе, как и везде, особенно среди дам и маленьких детей".
Дети освоились в новых школах без особых проблем - не хватало только старшего сына, Кэстиса, который пошел по стопам отца и стал кадетом в Вест-Пойнте, и за его академической карьерой Ли внимательно следил. На самом деле Ли приложил немало усилий, чтобы добиться для Кэстиса "назначения "на свободе" в Военную академию", продемонстрировав тем самым, что он готов лоббировать интересы своих детей, хотя не стал бы делать этого для себя. Здесь, наконец, его советы выходили за рамки морали и переходили в практическую плоскость. Если Ли и разбирался в чем-то, так это в жизни "тонкой серой линии", в соблазнах и подводных камнях, с которыми сталкивается кадет. Обнаружив в Кьюстисе склонность к праздности, он старался исправить это в многочисленных письмах.