Тем временем строительство форта Кэрролл замедлилось. Конгресс неохотно выделял средства, и в марте 1851 года он покинул заседание, не выделив никаких ассигнований на продолжение работ. Как заметил начальник Ли, бригадный генерал Тоттен, "для обеспечения быстрого... прогресса не требовалось ничего, кроме регулярных ассигнований", но они не поступали, возможно, потому, что политические антенны Тоттена были не столь чувствительны, как у его предшественника, а возможно, потому, что никто в Конгрессе не воспринимал всерьез возможность возобновления британского наступления на Балтимор. Возможно, Ли, как инженеру, было больно от того, что он так и не смог довести до конца ни один из огромных проектов, за которые он отвечал, - его перевели на другую должность еще до того, как его работы на острове Кокспур, в Сент-Луисе или в Нью-Йоркской гавани были близки к завершению, - но весной 1852 года, когда он был занят забиванием свай и укладкой бетона, он получил письмо от бригадного генерала Тоттена с предложением принять командование в качестве суперинтенданта Американской военной академии. * На первый взгляд, все говорило в пользу этого назначения, за исключением того, что оно отдаляло Мэри Ли от ее родителей и дома в Арлингтоне. Должность суперинтенданта академии была престижной и находилась в центре внимания общественности; она предполагала "красивый дом", полный штат сотрудников и прямой доступ к Военному министерству; кроме того, это позволило бы собрать всю семью Ли в одном месте, поскольку Кьюстис все еще был кадетом.
Учитывая, с какой тщательностью Ли следил за образованием собственных детей, удивительно, что он не был "доволен". Фримен объясняет это скромностью Ли и его убеждением, что "ему не хватало опыта для этой должности". Правда, в течение многих лет Ли постоянно отвечал на любую форму продвижения по службе протестом, что хотел бы, чтобы для этого был выбран "более опытный человек"; возможно, это была скромность или просто формула вежливости, но можно также предположить, что нежелание Мэри Ли променять Виргинию и Мэриленд на три или четыре года в нижней части долины Гудзона могло сыграть важную роль в попытке Ли отказаться от этой чести. Признаком того, что это был не просто мягкий формальный протест, является то, что Ли ответил на письмо в тот же день, когда оно было получено - очевидно, никаких душевных терзаний не было. По меркам Ли, его ответ генералу Тоттену был кратким и точным: "Я с большим сожалением узнал о решении военного министра назначить меня на эту должность, и боюсь, что не смогу оправдать его надежд в управлении учреждением, требующим большего мастерства и опыта, чем у меня есть".
Интересно, что, отказавшись от назначения, Ли, похоже, не поехал в Вашингтон и не навестил своего старого товарища по оружию времен Мексиканской войны, чтобы привести аргументы в пользу выбора кого-то другого; в конце концов, Тоттен восхищался Ли и любил его, а Вашингтон находится всего в тридцати девяти милях от Балтимора, даже в те дни не более часа езды на поезде ("вагоны", как их тогда называли). Ответ, вероятно, заключается в том, что Ли, с его врожденным чувством долга и послушания, был готов написать официальное письмо с возражением против назначения, но не более готов лоббировать сохранение своей нынешней должности, чем лоббирование повышения.
Ли пришлось ждать всего десять дней, чтобы получить лаконичный ответ о том, что "его письмо получено, и главный инженер вынужден отказаться от изменения задания", - знак того, что Тоттен знал, что выбрал лучшего человека для этой работы. Получив письмо, Ли с головой ушел в составление счетов и передачу помощнику всех своих бумаг, касающихся форта Кэрролл. Он продолжал указывать друзьям, что не чувствует в себе сил справиться с этой задачей, но смирился с ее неизбежностью. Поскольку к началу Гражданской войны форт так и не был достроен, Ли, возможно, повезло, что его отстранили от работы, которую можно рассматривать только как тупиковую, и вполне возможно, что он отказался от нее без сожаления - наверняка он его не выражал. С другой стороны, он переходил от рутинной работы по надзору за строительным проектом, пусть и амбициозным, к тому, что мы бы сейчас назвали высокопоставленной ролью: командование несколькими сотнями кадетов и большим армейским подразделением, ведь Вест-Пойнт тогда, как и сейчас, был освященным учебным заведением. Кроме того, эта должность требовала необычайного такта как в отношениях с родителями, так и с политиками, ведь каждого кадета "спонсировал" конгрессмен или сенатор из его родного штата, и никто из родителей не хотел узнать, что их мальчик отстает в учебе или его собираются отчислить за слишком большое количество проступков.