Защита президентом Пирсом своей спорной и неудачной отмены Миссурийского компромисса и аргументы против разумности попыток северян вмешиваться в рабство на Юге стали главной темой его послания Конгрессу в декабре 1856 года. В отличие от президента, Ли рассматривал рабство как духовный, а не политический вопрос. Сам он не был владельцем более чем нескольких рабов, которых, по его мнению, следует освободить после его смерти, и в основном его общение с рабами было связано со знакомыми и иногда любимыми домашними слугами, а не с полевыми рабочими, но в целом он находил обязанности по владению ими более обременительными, чем любая выгода, которую можно было получить от их труда. Насколько можно судить, он никогда не покупал рабов; он либо унаследовал их, либо получил в подарок от мистера Кьюстиса. Он разделял интерес нескольких членов семьи Ли к отправке освобожденных рабов в Либерию - дело, до сих пор вызывающее осторожную, хотя и несколько скептическую поддержку по обе стороны линии Мейсон-Диксон, но весьма незначительную со стороны тех, кого предлагалось туда отправить. Освобожденные чернокожие меньше всего хотели возвращаться через Атлантику в Африку в рамках масштабного социального эксперимента, призванного искупить вину белых американцев. Большую часть своих мыслей Ли изложил в письме к Мэри. После нескольких строк осторожного оптимизма по поводу послания президента Конгрессу в его письме к Мэри сквозит ощущение приближающегося кризиса, связанного с растущей решимостью северян ограничить рабство.
"Я был очень доволен посланием президента и докладом военного министра - единственными двумя документами, которые дошли до нас целиком. Из остальных до нас дошли только конспекты. Мнение президента о систематических и прогрессивных усилиях некоторых людей Севера вмешаться и изменить внутренние институты Юга, выражено правдиво и достоверно. Последствия их планов и целей также ясно изложены, и они также должны осознавать, что их цель является незаконной и совершенно чуждой им и их долгу; за которую они безответственны и неподотчетны; и может быть достигнута ими только через посредство гражданской и подневольной войны. В наш просвещенный век, я полагаю, мало кто признает, что рабство как институт является моральным и политическим злом в любой стране. Бесполезно рассказывать о его недостатках. Однако я считаю его большим злом для белой расы, чем для черной, и хотя мои чувства сильны в пользу последней, мои симпатии более сильны в пользу первой. Здесь чернокожим живется неизмеримо лучше, чем в Африке, - морально, социально и физически. Болезненная дисциплина, которой они подвергаются, необходима для их обучения как расы, и я надеюсь, что она подготовит и приведет их к лучшим свершениям. Как долго им придется находиться в подчинении, известно и предписано мудрым милосердным Провидением. Их освобождение скорее произойдет под мягким и тающим влиянием христианства, чем под бурями и штормами огненных противоречий. Это влияние хоть и медленное, но верное. . . . Хотя мы видим, что путь к окончательной отмене человеческого рабства идет вперед, и мы оказываем ему помощь нашими молитвами и всеми оправданными средствами, находящимися в наших силах, мы должны оставить прогресс и результат в руках Того, Кто видит конец; Кто выбирает медленное влияние; и с Кем две тысячи лет - как один день. Хотя аболиционист должен знать это и понимать, что у него нет ни права, ни власти действовать иначе, чем с помощью моральных средств и убеждения, и если он желает добра рабу, он не должен вызывать гневные чувства у хозяина; что, хотя он может не одобрять способ, которым Провидению угодно осуществить свои цели, результат все равно будет тот же; что причины, которые он приводит для вмешательства в то, что его не касается, подходят для любого вида вмешательства в дела наших соседей, когда мы не одобряем их поведение; и все же я боюсь, что он будет упорствовать в своем дурном курсе. Не странно ли, что потомки тех отцов-пилигримов, которые пересекли Атлантику, чтобы сохранить свою собственную свободу мнений, всегда проявляли нетерпимость к духовной свободе других?"