Из-за того, что Талкотт часто отлучался по "другим делам", Ли пришлось в основном защищать позицию инженеров в форте Монро от артиллеристов. Вражда (другого слова не подберешь) возникла из-за того, что полковник Юстис считал, что ему не нужны два молодых офицера-инженера, которые будут указывать ему, как достроить форт, предназначенный в первую очередь для размещения артиллерии. Это была типичная военная "война за территорию", в данном случае между "первопроходцами", которые размещали и копали орудия, и "артиллеристами", которые наводили и стреляли из них, продолжавшаяся с XV века.
Ли трудился над деталями контркарповой стены и валов форта Монро, но главной его задачей по-прежнему оставалось заказать по лучшей цене груз щебня и сбросить его в воды Хэмптон-Роудс, чтобы создать прочный фундамент, на котором можно будет построить форт Кэлхун. Каждый груз камня просто заталкивал предыдущий глубже в топкое дно, поэтому видимый прогресс был минимальным, что, несомненно, заставляло артиллеристов сомневаться в том, что форт вообще будет построен, а Ли - в том, что ему придется провести остаток своей карьеры за этим неблагодарным занятием. Единственной хорошей новостью для него стало то, что в июле 1832 года он перестал быть бреве-вторым лейтенантом и был повышен в звании до обычного офицера - офицера армии, а не временного и действующего.
На протяжении 1833 и большей части 1834 года Ли вел одиночные арьергардные бои с артиллерией, отстаивая право инженеров завершить работы по строительству форта Монро и Рип-Рапса. Он делал это как на месте, так и в Вашингтоне, в Военном министерстве, где слои интриг были еще толще и могли разрушить его карьеру на этом раннем этапе, равно как и карьеру Талкотта. Ситуация достигла апогея, с точки зрения Ли, когда Талкотт был переведен на реку Гудзон, а Ли был вынужден перебраться в импровизированные жилища на Рип-Рапсе - триумф артиллеристов - но затем этот приказ был отменен; артиллерийская школа была расформирована, а ее офицеры разосланы по своим прежним подразделениям; и Ли был оправдан. Он не мог быть доволен тем, что вынужден жить некоторое время на эквиваленте Эльбы, вместо того чтобы наслаждаться оживленной домашней жизнью и восхитительными дамами в форте Монро, но он продолжал делать свою работу, покупая камень и бросая его в воду. О том, что он делал свою работу хорошо, свидетельствует тот факт, что форт Вул оставался в активной эксплуатации до конца Второй мировой войны, после чего был выведен из эксплуатации и превратился в скромную туристическую достопримечательность. Преданность Ли своему долгу в сложных обстоятельствах была настолько очевидна и так высоко оценена начальником инженеров генералом Гратиотом, что в ноябре 1834 года он был переведен в Вашингтон в качестве помощника Гратиота. Поскольку этот перевод имел дополнительное преимущество: Ли мог жить в Арлингтоне с Мэри и каждый день ездить на работу туда и обратно, это было чем-то вроде полной победы.
Годы с 1832 по 1834 не прошли даром в профессиональном плане. Помимо того, что Ли многое узнал об устройстве армии, они дали ему прочные знания в области артиллерии и фортификации. Наполеон сам был артиллеристом по образованию и считал, что "Бог сражается на той стороне, где лучшая артиллерия". Когда он принял командование итальянской армией в 1796 году, в ней было всего шестьдесят орудий, но шестнадцать лет спустя в Бородинском сражении в России объединенная артиллерия французской и русской армий насчитывала более 1250 орудий, выпускавших более 15 000 снарядов в час на двухмильном фронте.
Борьба между инженерами и артиллеристами была решена в пользу первых на некоторое время при Людовике XIV благодаря гению Вобана, чья огромная система укреплений - военный эквивалент Версаля по стоимости, а также эквивалент линии Мажино XVII века - защищала Францию, но Наполеон по инстинкту всегда был больше заинтересован в атаке, чем в обороне, и оснащал свои армии более легкими, быстроходными пушками, чтобы как можно быстрее сосредоточить массу артиллерийского огня на слабом месте противника. Отсутствие интереса к укреплениям дорого обошлось ему в 1814 году, когда армии союзников вторглись во Францию, но в течение долгого периода, когда он господствовал во всей Европе, скорость передвижения его армий, его дар искать решающее сражение и мастерство, с которым он управлял потрясающей мощью французской артиллерии, делали его практически непобедимым для любой комбинации врагов, пока он не совершил ошибку, добавив к их числу Россию с ее огромными расстояниями.