К большому неудобству Ли, он был вынужден просить один отпуск за другим, так как занимался "гугенотской" задачей - сделать владения Кустиса самодостаточными и прибыльными в интересах жены и детей. В итоге с ноября 1858 года по февраль 1860 года он находился в отлучке со своим полком, с небольшими перерывами для участия в военном трибунале и один раз для принятия командования войсками, направленными правительством для восстановления порядка в Харперс-Ферри. Друг и наставник Ли генерал Уинфилд Скотт не возражал против такого длительного отпуска и сделал все возможное, чтобы карьера Ли не пострадала, но Ли терзался тем, что менее способные люди, чем он, получали звание бригадного генерала.
Осмотр Белого дома и владений Романкока привел его в еще большее уныние - дома и земля находились в ужасном состоянии, и единственное, чего он смог быстро добиться, - это изменить название последнего на менее оскорбительное Романкок. Оба его старших мальчика служили в армии - Кьюстис был на Западе, Руни собирался присоединиться к экспедиции в Юту, чтобы покорить мормонов (тот факт, что она называлась "Ошибка Бьюкенена", достаточно говорит о ее месте в американской истории), - и Ли счел нужным дать обоим мальчикам возможность уйти из армии и немедленно вступить во владение своим наследством, но оба отказались. Кэстис великодушно послал отцу "документ на Арлингтон и все остальное имущество, унаследованное по завещанию его деда", рассудив, что его отец, безусловно, должен владеть Арлингтоном, если уж он потратил столько времени и сил на его восстановление. Ли вернул документ с ласковым благодарственным письмом, характерно добавив, что сожалеет о "расходах, которые вы понесли [на составление документа], которые, боюсь, в этой стране весьма значительны, поскольку я желаю вам сберечь все ваши деньги". . . . Боюсь, что ежедневная нужда в деньгах сделала меня скупым".
Легкий родительский укор нехарактерен для переписки Ли со своими детьми, но, хотя он был неизменно щедрым отцом, если и была у него какая-то тема, то это растрата небольших сумм денег. Несомненно, его раздражение покойным тестем делало эту тему еще более болезненной для него.
Как бы ни было трудно справляться с многочисленными проблемами поместья Кьюстисов, ничто не причиняло Ли таких страданий и не портило его репутацию так сильно, как рабы его тестя.
Конечно, в то время ни один предмет не был так склонен к моральным дилеммам, как рабство. Ли, владевший всего несколькими рабами, в основном семейными слугами того или иного рода, не имел практически никакого опыта общения с недовольной рабочей силой из почти 200 человек, которые составляли значительную часть стоимости поместья Кьюстисов. Как военный Ли не был солдафоном, но когда он отдавал приказ, как бы вежливо он ни был передан, он ожидал, что его выполнят. К несчастью для Ли, рабы Кэстисов не были курсантами Вест-Пойнта - они давно привыкли к нежеланию покойного хозяина уделять пристальное внимание их работе, и их возмущало пристальное внимание Ли и его планы по извлечению прибыли из земель Кэстисов, которые, конечно же, зависели от их труда. Соседи жаловались, что рабы Кэстисов были нерадивыми, избалованными и дерзкими, и это, конечно, правда: не считая того, что мистер Кэстис проявлял спорадический интерес к своим различным сельскохозяйственным увлечениям, таким как разведение овец, он позволял своим рабам делать практически все, что им заблагорассудится. Они сами возделывали свои сады, а не ухаживали за его землями; они могли ловить рыбу, как им заблагорассудится; по мнению большинства наблюдателей, они управляли мистером Кьюстисом, а не наоборот.