Это была непростая задача. Ученики Ли, как и сам Ли, признавали, что война проиграна, но они не принимали право федерального правительства искоренять древние южные институты и расовые представления. Ли без колебаний пожал руку чернокожему, а когда другой чернокожий вошел в церковь Святого Павла в Ричмонде и подошел к перилам алтаря, чтобы принять причастие перед шокированной, возмущенной, молчаливой белой паствой, Ли поднялся со своей скамьи, подошел к этому человеку и опустился рядом с ним на колени. Ли был полон решимости относиться к чернокожим с тем же достоинством и вежливостью, что и ко всем остальным, но это не означало, что он признавал их полное равноправие. Под присягой он заявил, что не считает их "способными разумно голосовать", а также что "для Вирджинии будет лучше, если она сможет от них избавиться", хотя и добавил, что всегда верил в "постепенную эмансипацию". Ключевое слово здесь, конечно, "постепенная". Как и его ученики, Ли не до конца понимал, что поражение Юга приведет к разрушению традиционной южной социальной системы, перестройке, которая должна была отдать предпочтение черным перед белыми в политическом плане и стереть социальные барьеры между расами, и его ученики все еще были менее склонны принять эту политику, чем он сам. С другой стороны, "постепенная эмансипация" - это не то, чего хотели сторонники реконструкции Севера, и они не были готовы ждать, пока эти изменения будут происходить постепенно, по воле Божьей, в свое благое время, как это делал Ли.
При таких обстоятельствах неудивительно, что его пребывание в Вашингтонском колледже было отмечено как минимум четырьмя расовыми инцидентами, которые привлекли большое внимание на Севере. В первом случае речь шла о четырех студентах, один из которых был обвинен в избиении вольноотпущенника пистолетом во время гневного спора - не совсем студенческая шалость. Вторая, более серьезная ссора, известная как "дело Джонстона", произошла между группой студентов и вооруженным северянином, который выражал сильную симпатию к чернокожим. Третьей проблемой стала жалоба северянки, обучавшей чернокожих детей, на то, что ученики оскорбляли и преследовали ее, называя "проклятой сукой янки, учителем черномазых". Четвертый инцидент произошел из-за обвинения в том, что некоторые студенты колледжа задержали "негритянского юношу", который застрелил и ранил одного из сыновей судьи Брокенброу, и повели его к зданию суда с петлей на шее с явным намерением линчевать его.
Ли тщательно расследовал все эти инциденты - все они оказались преувеличенными - и удалил тех, кого признал виновными (обвинение школьной учительницы в том, что оскорблявшие ее люди были студентами Вашингтонского колледжа, проверить не удалось). Но он получил нежелательное внимание северной прессы. Не менее известный аболиционист Уильям Ллойд Гаррисон обвинил его в том, что он руководит "школой для бунтовщиков" и не годится для управления учебным заведением. Гаррисон жестоко усомнился в способности "побежденного предводителя повстанческих армий" учить своих учеников верности Союзу, "который он так недавно пытался разрушить!". Ли, который мог бы оказаться в плену в форте Монро рядом с Джефферсоном Дэвисом, если бы не вмешательство генерала Гранта, не поддался искушению ответить или оправдаться. Тем не менее, эти проблемы иллюстрируют глубину горечи, царившей с обеих сторон между Севером и Югом, и ту тонкую грань, которую приходилось преодолевать Ли, чтобы поддерживать функционирование колледжа. Ли был безразличен к собственной репутации, но его характер "джентльмена и христианина" был таков, что защищал колледж и даже заслужил похвалу аболициониста Генри Уорда Бичера, чья сестра Гарриет Бичер-Стоу была автором "Хижины дяди Тома". Бичер сказал нью-йоркской аудитории, что Ли "имеет право на все почести", и похвалил его за то, что он посвятил себя "священному делу образования".
Несмотря на все давление, Ли дал показания на суде над Джефферсоном Дэвисом в Ричмонде. Он даже принял приглашение Гранта навестить его в Белом доме. Помимо всего этого, Ли, похоже, вернулся к спокойной домашней жизни, которая всегда доставляла ему огромное удовольствие. Хотя миссис Ли не могла пересечь комнату без помощи костылей, дом всегда был полон; его дочери часто бывали дома, чтобы составить ему компанию; он и Милдред, когда она была дома, вместе ездили верхом, причем Милдред ездила на Люси Лонг, кобыле, которую подарил ему Джеб Стюарт. Лошадь была потеряна и предположительно захвачена федералами весной 1864 года, но была возвращена Ли в 1866 году. Дочери Ли с удовольствием катались на коньках, когда замерзали пруды, и у них было много кавалеров, чтобы развлечь их, но не было серьезных женихов, чтобы беспокоить их отца. Милдред, прирожденная любительница животных, коллекционировала кошек, в том числе и Тома Ниппера, который до переезда в дом воспитывался в конюшне рядом с клеткой Путешественника. Через 122 года Том Ниппер станет главным героем романа "Путешественник" Ричарда Адамса, автора "Уотершип Даун".