В 1844 году Скотту было пятьдесят восемь лет: огромная, властная, возвышающаяся фигура; грозный вид; уже настолько огромный в обхвате, что с трудом мог сесть на лошадь; подлинный герой войны 1812 года; национальное присутствие, служившее в форме при каждом президенте от Джефферсона до Линкольна. Торжественное достоинство Скотта, его самодовольство, его тщательно продуманные мундиры, украшенные всевозможными золотыми кружевами и вышивкой, его шляпы со струящимися белыми плюмажами, его дар к тому, что мы бы сейчас назвали саморекламой, его нетерпение к умам, более медленным, чем его собственный, его тщеславие, и удовлетворение от роли самого долгоживущего и, похоже, бессменного военного лидера нации - все это способствовало появлению у него неласкового прозвища "Старая суета и перья", но также частично скрывало острый ум, стратегическое мастерство, безжалостное честолюбие, политическую проницательность, когда речь шла об интересах армии и его собственных, и наметанный глаз на таланты. Виргинец, жаждущий светской жизни и обладающий слоновьим обаянием, Скотт был во всех отношениях не похож на молодого капитана Ли, но сразу же распознал в нем уровень компетентности, намного превышающий обычный. Ли лучше знал, что не стоит льстить генералу, который впитывал лесть как губка, но был склонен презирать льстеца; вместо этого он поразил Скотта своим умом, здравым суждением о людях, физическим присутствием и солдатской выправкой - вот человек, который выглядел солдатом на все сто процентов, - а также своим сдержанным виргинским обаянием. То, что Скотт был отъявленным снобом, совершенно очевидно, но его перекошенный рот, выступающая челюсть и нахмуренные орлиные глаза были легко растоплены членом семейств Ли и Картеров, чей отец с честью служил под началом Вашингтона, а тесть был хозяином Арлингтона и приемным сыном Вашингтона. Ли, возможно, не понимал - да и вряд ли мог себе представить, - как далеко заведет его знакомство со Скоттом, когда он вернется из Вест-Пойнта к своей рутинной работе по надзору за укреплениями Нью-Йорка против британцев, не подозревая, что через два года сам станет национальным героем.
С 1844 по 1846 год Ли чередовал службу в качестве своего рода прославленного клерка и связного с Конгрессом по правую руку главного инженера в Вашингтоне с работой на фортах в Нью-Йорке, при этом он был "назначен членом инженерного совета по обороне Атлантического побережья", что расширило его обязанности без какого-либо увеличения жалования или звания. В Вашингтоне его завалили бумажной работой, и он выражал свой растущий "ужас при виде пера, чернил и бумаги". В Нью-Йорке он руководил рытьем рвов и установкой тех немногих орудий, которые удалось сохранить. Это была неинтересная и тяжелая работа, хотя он развлекал себя тем, что в ярмарочные дни ездил на одной из двух своих лошадей из форта Гамильтон в Нью-Йорк, чтобы присутствовать на заседаниях инженерного совета, а зимой ездил туда и обратно на больших, переполненных конных санях, которые служили автобусами и на которых его внимание привлекали хорошенькие девочки, возвращавшиеся из школы, "державшиеся друг за друга на коленях с сумками книг и улыбающимися лицами". Он рассуждал со своим старым другом Маккеем о том, сядет ли одна из них к нему на колени, если он предложит ей такую возможность, но рыцарски решил уступить свое место. Невинное восхищение Ли красивым юным лицом не уменьшилось от того, что он стал отцом семейства.
Зима 1845-1846 годов ознаменовалась маленькой домашней трагедией, которая сильно потрясла Ли. Как раз когда Мэри Ли готовилась к отъезду в Арлингтон, ее второй сын, Руни, уже "авантюрный молодой человек" в возрасте восьми лет, забрался на сеновал, куда ему было запрещено ходить, и отрезал "кончики двух своих пальцев", играя с разделочным ножом. В ходе передовой для того времени операции оба отрезанных пальца были пришиты обратно. Помимо опасности заражения в те дни, когда антисептики еще не были в ходу, в течение нескольких дней было сомнительно, что они "срастутся", но удивительным образом это произошло. Фримен приписывает Ли ужас перед уродствами, что, возможно, усиливало его беспокойство, и это может быть так, но его дочь Энн родилась с большим родимым пятном на лице, и Ли, кажется, принял это в штыки; он даже трогательно написал об этом Мэри: "Мы должны постараться помочь ей скрыть, если не искоренить, это пятно чистотой и яркостью ее ума".