Это был практический фактор рабовладения, с которым Ли был знаком, и, похоже, он не игнорировал его, выбирая, кого из рабов Кьюстиса сдать в аренду. Однако это была лишь одна из причин растущего недовольства среди рабов, у которых "сложилось общее впечатление", что они будут освобождены после смерти мистера Кэстиса, в чем, несомненно, был виноват сам мистер Кэстис, поскольку ему, вероятно, не удосужились объяснить, что их освобождение на самом деле не произойдет до тех пор, пока не будет решено его наследство. Не помогло и то, что Ли был пресловутой новой метлой, которая метет чисто. Его цель была достойной - восстановить имущество покойного тестя и сделать его прибыльным для собственной жены и детей, но сделать это можно было, только усерднее обрабатывая рабов и устраняя разгильдяйство, отсутствие надзора и мелкие привилегии, которые мистер Кэстис допускал на протяжении многих лет. Вероятно, не помогло и то, что Ли был бывшим суперинтендантом Вест-Пойнта и привык, чтобы его приказы выполнялись четко и беспрекословно - рабы Кустиса не были кадетами.
С самого начала у Ли возникли проблемы с беглецами, которые считали, что их следовало освободить, и возмущались его строгостью. Каждый из них требовал, чтобы Ли дал объявление о его возвращении и выплатил вознаграждение, когда раб был возвращен. Наказал ли Ли беглецов, кроме как сдав их в наем кому-нибудь на юге или западе, кто мог бы принять более жесткие меры, чтобы предотвратить их побег, неизвестно. Элизабет Браун Прайор в своей книге о письмах Ли "Читая человека" предполагает, что "столб для порки [все еще] стоял" в Арлингтоне, как и возле рабских помещений на многих других плантациях, но если это так, то он мог быть просто символическим - хотя нет ничего более мощного, чем определенного рода символ.
Сами Ли жаловались, что аболиционисты "таятся" в окрестностях Арлингтона, призывая рабов требовать свободы. Арлингтон и Александрия находились в двух шагах от Вашингтона, округ Колумбия, где существовала значительная община освобожденных негров и велась активная деятельность аболиционистов, настолько, что рабовладельцы в этом районе не решались посылать туда своих рабов на побегушки или нанимать их в городе. Один из основных маршрутов Подземной железной дороги заключался в переправке беглых рабов из округа Колумбия в свободные штаты Пенсильвания и Нью-Джерси.
Если Ли, жившие так близко к Вашингтону, чувствовали себя осажденными, то это было не без оснований. Ли еще не был знаменит, а вот мистер Кэстис, как последний живой родственник Джорджа Вашингтона, был; аболиционисты предполагали, что он освободил своих рабов, а Ли, тем не менее, держит их в рабстве. Ли был раздосадован, хотя и был уверен, что не только действует в рамках своих прав, но, что еще важнее, поступает правильно. Они с Мэри открыли школу (вопреки закону штата, запрещавшему обучать рабов чтению и письму), чтобы лучше подготовить рабов к освобождению, а Ли изо всех сил старался расплатиться с долгами и поставить разросшиеся плантации Кустиса на прочную деловую основу, без которой он не смог бы освободить рабов в течение пятилетнего срока, оговоренного в завещании; Но единственным результатом стало то, что рабочая сила становилась все более угрюмой и несговорчивой, а о Ли распространялись нелестные истории, которые достигли своего пика весной 1859 года после побега трех рабов из Арлингтона: Уэсли Норриса, его сестры Мэри и двоюродного брата.
С помощью аболиционистов или без нее трое добрались до Мэриленда, где их "задержали и бросили в тюрьму", а после двух недель пребывания в "рабской тюрьме" вернули в Арлингтон. Согласно рассказу Норриса, когда они предстали перед Ли, "он сказал нам, что преподаст нам урок, который мы никогда не забудем". Что произошло потом - вопрос спорный. Позже Норрис утверждал, что Ли приказал привязать всех троих к столбам в сарае и раздеть; что двое мужчин были выпороты пятьдесят раз, а женщина - двадцать; и что после этого их спины промыли рассолом, чтобы усилить боль от рваных ран, - и все это в присутствии Ли. Двое мужчин были отправлены в тюрьму на неделю, а затем наняты в качестве фермеров на юге; женщина была нанята в Ричмонде.
Утверждения об обращении Ли со своими рабами быстро дошли до Нью-Йорка в виде двух анонимных "писем в редакцию", опубликованных в один и тот же день.
Редактору газеты "Нью-Йорк Трибьюн".