Мнение Ли в 1850-х годах было тем, которого он придерживался всегда, и которое он сохранил до самой смерти - оно никогда не менялось. Более того, в 1866 году, через год после окончания Гражданской войны, когда его вызвали для дачи показаний в Объединенный комитет Конгресса по реконструкции, он не отказался от своего мнения и не смягчил его, а повторил его в более жестких выражениях: "Мое собственное мнение заключается в том, что они [чернокожие] не могут голосовать разумно, и что предоставление им права голоса приведет к большому количеству демагогии, а также к различным неудобствам. . . . Я думаю, что для Вирджинии было бы лучше, если бы она смогла избавиться от них. . . . Я думаю, что все там были бы готовы помочь ей в этом".
Конечно, отношение Ли к отдельным чернокожим отличалось от его убеждения, что как расе им лучше быть рабами. Подобно тому, как он проявил доброту к старому Нэту, бывшему кучеру своей матери, он подписал письмо во время президентской кампании 1868 года, в котором говорилось: "Идея о том, что южане враждебно относятся к неграм и угнетали бы их, если бы это было в их силах, совершенно необоснованна. . . . Они выросли среди нас, и мы с детства привыкли смотреть на них с добротой".
Несмотря на то, что Ли все еще оставался всего лишь младшим лейтенантом, он, похоже, одержал верх над полковником Юстисом в форте Монро, возможно, потому, что генерал Гратиот, начальник инженерного корпуса, имел больший вес в Вашингтоне, чем начальник артиллерии. Как бы то ни было, Ли вернулся к работе, и его главной задачей стало наблюдение за транспортировкой и отсыпкой большого количества камня и песка в Хэмптон-Роудс для расширения и укрепления пятнадцатиакрового "искусственного острова", названного Рип-Рапс (в честь риппрапа, сорта сыпучего камня различных размеров и форм, из которого он был создан), где в конечном итоге будет построен форт Вул, а также ведение строгого учета расходов, который требовал Инженерный корпус. Остров, расположенный на южной стороне навигационного канала, должен был поддерживать форт Монро и обеспечивать перекрестный огонь по вражеским судам, входящим в Хэмптон-Роудс. Работа давала Ли обязанности, но не вызывала у него восторга, и, возможно, он уже начал страдать от сомнений в разумности выбора военной карьеры, которые мучили его до того, как Мексиканская война дала ему шанс испытать себя в бою и командовании и ускорила его продвижение по службе, и которые возобновлялись и усугублялись с наступлением мира, пока отделение Виргинии неожиданно не сделало его генералом. Странно, но сомнение в себе и неудовлетворенность собственными способностями будут преследовать этого самого компетентного из мужчин большую часть его жизни.
Ему повезло, что его старшим офицером был Талкотт, и они стали близкими друзьями; присутствие ненужных дополнительных артиллерийских рот, которые были посланы для подавления любых дальнейших восстаний рабов, также увеличило темп общественной жизни в форте, хотя, поскольку новые люди состояли в основном из молодых офицеров, у которых было свободное время, она была преимущественно мужской и крепко выпивающей. Ли был терпим к любителям выпить, но сам редко пил и с трудом понимал тех, кто пил сверх меры. Пьянство, игра в карты и беготня за немногочисленными доступными женщинами были главными развлечениями молодых артиллерийских офицеров в Форт-Монро, но Ли старался держаться в стороне от них, хотя был того же звания, как и его друг Джо Джонстон, который тоже был воздержан. Стоит отметить, что даже на этом раннем этапе карьеры - среди армейских офицеров никто не был ниже временного второго лейтенанта - Ли выделялся среди своих товарищей как физической формой, так и врожденным достоинством. Он не был цензурным или душным, был хорошей компанией, участвовал в развлечениях (если они не мешали службе), но в его характере была определенная сдержанность, которую он должен был сохранить на всю жизнь, и это с самого начала выделяло его, хотя он был слишком скромным, чтобы это было его намерением. В нем было одиночество великого полководца, даже когда он был еще самым младшим офицером: этому он не учился и не предполагал, это было то, с чем он родился, что, возможно, подчеркивалось его отождествлением с Джорджем Вашингтоном с раннего детства.