Дезертировали не только войска Ли. С большой неохотой Конфедерация согласилась на призыв рабов в армию - дело было не столько в предрассудках, сколько в том, что рабы представляли собой собственность и богатство, а также в том, что в отсутствие большого количества белых мужчин они были единственной рабочей силой, оставшейся у многих землевладельцев. Неудивительно, что те, кто был призван в армию, дезертировали гораздо чаще, чем белые солдаты. Ли жаловался, что запросил 5 000 рабочих, а получил только 2 200 "небольшими группами и через разные промежутки времени", а к декабрю у него осталось менее 1 200 человек. Более радикальная идея вооружить рабов, чтобы они сражались за Конфедерацию, была выдвинута еще в 1861 году, но, учитывая отчаянную военную ситуацию, осенью 1864 года она стала более насущным вопросом. Альберт Бертон Мур в своем блестящем исследовании "Призыв и конфликты в Конфедерации" суммирует "кардинальные положения" тех, кто выступал против этого радикального шага: "1) вооружение рабов означало бы отказ от теорий и традиций Юга; 2) это означало бы отмену рабства, поскольку "если негр годится в солдаты, он не годится в рабы"; 3) это означало бы отказ от основания, на котором штаты отделились, если бы они позволили Конгрессу вмешиваться в институт рабства; и 4) это было бы оскорблением для белых солдат, и многие из них сложили бы оружие". Ли был "главной опорой" тех, кто выступал за этот радикальный шаг, написав члену законодательного собрания Вирджинии: "Мы должны решить, будет ли рабство уничтожено нашими врагами и рабы будут использованы против нас, или же мы сами будем использовать их, рискуя последствиями, которые могут быть вызваны нашими социальными институтами". Затем Ли разрубил гордиев узел, указав, что любой акт о зачислении рабов в солдаты должен содержать "хорошо усвоенный план постепенной и всеобщей эмансипации": нельзя ожидать, что рабы будут хорошо сражаться, если их служба в качестве солдат не будет вознаграждена свободой. Президент Дэвис не хотел решать этот самый деликатный вопрос на Юге, и Конгресс Конфедерации, и законодательные собрания южных штатов обсуждали и откладывали принятие решения. Дэвис, что неудивительно, предпочел подождать, "пока общественное мнение созреет по этому вопросу", но в результате "конец наступил раньше, чем [негритянский призыв] был начат". Примечательно, что Ли, по натуре самый консервативный человек и наиболее уважающий южные традиции и институты, в данном случае выступил самым радикальным сторонником призыва негров в армию и обещания им свободы одновременно с мушкетом.
4 февраля 1865 года Ли наконец-то был назначен "главнокомандующим" всех армий Конфедерации. Характерно, что он ответил, что "обязан только доброте его превосходительства президента" за "этот высокий и трудный пост", добавив, что еще более тревожно, что он "не получил никаких инструкций относительно моих обязанностей" и не знает, что президент Дэвис хочет, чтобы он взял на себя.
Ли официально объявил, что 9 февраля он "принял командование военными силами Конфедеративных Штатов", и сразу же обратил внимание на одну из своих главных проблем: он дал дезертирам и тем, кто отсутствовал без отпуска, двадцать дней на то, чтобы вернуться в свою часть или явиться к ближайшему офицеру, после чего они будут подвергнуты "наказанию, которое может быть назначено судом, и прошения о помиловании не будут приниматься к рассмотрению". Теоретически это означало помилование для тех, кто вернулся в армию, и смертную казнь для тех, кто этого не сделал, но на практике к этому времени ни суды Конфедерации, ни различные подразделения "ополчения", которым было поручено выслеживать и задерживать дезертиров, не справлялись с более чем 100 000 дезертиров. В некоторых случаях применялись тюремное заключение и казни, было как минимум одно линчевание, но падение боевого духа, нехватка припасов и ожидание поражения позволили большинству мужчин вернуться в сельскую жизнь, не донося на них соседям.