Как бы то ни было, с какими бы трудностями они ни столкнулись, они освоились в Бруклине, который в то время был местом, где простирались поля и фермы, и Ли принялся за дело, чтобы привести оборону Нью-Йорка в соответствие с современными требованиями. Ли, как и всегда, был доволен тем, что его дети рядом с ним, а его работа, хотя и отнимала много времени, вскоре вошла в рутину - по сути, говоря современным языком, он был управляющим нескольких больших и довольно далеко расположенных друг от друга строительных площадок. Как и у знаменитого впоследствии вест-пойнтера Дуайта Д. Эйзенхауэра, самой высокой целью Ли могла быть отставка из армии в звании полковника, но даже такая скромная цель должна была казаться ему недостижимой летом 1841 года. "Казалось, на него навалились камни форта", - замечает Фримен, и Ли не мог нарадоваться тому факту, что первый этап ремонта форта Гамильтон позволил переформировать гарнизон форта, так что ему пришлось отказаться от помещений, которые он с таким трудом отремонтировал. Он попросил у главного инженера разрешения снять дом для своей семьи за 300 долларов в год (дом в том же районе Бруклина, схожий по размерам с тем, который описывает Ли, сдавался на момент написания этой статьи по цене 2800 долларов в месяц). Как обычно, Ли пришлось урезать свои планы по строительству фортов Гамильтон и Лафайет, поскольку Конгресс не выделил достаточно денег, но к осени 1842 года он завершил самые необходимые работы по фортам, а поскольку дальнейший ремонт морских стен в Нарроузе в зимние месяцы был невозможен, он вернулся с семьей в Арлингтон. Весной Мэри с детьми проводила его в Нью-Йорк, но вскоре она снова вернулась домой, будучи беременной шестым ребенком, Робертом Эдвардом Ли-младшим, а Ли продолжил наблюдать за тем, что, должно быть, казалось ему все более рутинной работой: кладкой, покраской, прокладкой новых водосточных труб. Даже его самый теплый поклонник, Фримен, называет это "скучной работой для человека действия", хотя на самом деле Ли еще даже не получил возможности стать человеком действия. В каком-то смысле это была низшая точка в карьере Ли, сравнимая с карьерой другого уроженца Вест-Пойнтера и капитана, чья карьера достигла низшего предела несколькими годами позже, в 1854 году, и который не видел для себя будущего в армии: Улисс С. Грант. Конечно, в отличие от Гранта, Ли не пил, не сбивался со счета, не подавал в отставку в отчаянии, как Грант, но в нем можно распознать то же чувство тщетности и неудачи в карьере, которая, казалось, ни к чему не приведет. Ли, в конце концов, было тридцать пять лет, он содержал шестерых детей, служил в армии с 1825 года (если учесть его четыре года в качестве курсанта Вест-Пойнта), не имея особых заслуг и не имея большой вероятности, что в будущем дела пойдут лучше.
Пожалуй, единственным светлым пятном на профессиональном горизонте Ли стало то, что его назначили членом экзаменационной комиссии Вест-Пойнта на 1844 год, и в течение двух недель выпускных экзаменов кадетов он проводил много времени с генерал-майором Уинфилдом Скоттом, командующим армией США, который составил хорошее мнение о капитане Ли.