События развивались стремительно. 26 января отделилась Луизиана, а 1 февраля за ней последовал Техас, в одночасье превратив силы армии США в штате во врага, по мнению многих сторонников сецессии. Генерал Твиггс, * сменивший Ли на посту командующего департаментом Техас, считал, что его долг - сдать свои войска, и Ли не разделял его позицию, но Ли был избавлен от необходимости решать, что делать с его полком, поскольку ему было срочно отправлено сообщение с требованием немедленно вернуться в Вашингтон и "лично явиться к главнокомандующему к 1 апреля".
Правильно предположив, что в Техас он не вернется, Ли отправился в Сан-Антонио на конной "скорой помощи", вероятно, единственном закрытом транспортном средстве в кавалерийском полку, которое могло перевозить все его вещи и снаряжение. Это был "громоздкий и довольно ценный" дом вдали от дома профессионального солдата, который будет служить Ли на протяжении всей Гражданской войны. Он описал его своей дочери Агнес: "Справа от входа в палатку стоит железная походная кровать. Слева - походный стол и стул. В дальнем конце - сундук. Сбоку от входа ведро с водой и метла, одежда развешана в пределах досягаемости, шпага и пистолет очень удобны. У подножия кровати - седло и уздечка на деревянной лошади". Разумеется, все это было не так просто, но потребности Ли были спартанскими: письменный стол, книги, Библия, постельное белье, мундир и сапоги - вот и весь набор, который ему был необходим.
Не успел Ли прибыть в гостиницу в Сан-Антонио, как его окружили вооруженные люди в штатском. Жена друга, случайно проходившего мимо, сообщила ему, что генерал Твиггс только этим утром сдал свое командование и что все федеральные войска теперь "военнопленные". Ли был потрясен и возмущен тем, что с ним могут обращаться как с военнопленным. Он предусмотрительно переоделся в гражданскую одежду и отправился в штаб, где обнаружил, что сепаратисты уже находятся у руля и не настроены обращаться с ним с той вежливостью, на которую он рассчитывал. Он объяснил, что его верность - Вирджинии и Союзу, в таком порядке, и что он возвращается домой, но "техасские комиссары", как они себя называли, не успокоились. Если Ли согласится сложить с себя полномочия и принять службу в армии Конфедерации, сказали ему, он сможет свободно вернуться домой со своими вещами, но если нет, то ему придется оставить их.
Это кажется странным решением. Если техасские комиссары были готовы отпустить его домой, зачем было удерживать его багаж? Ли был в ярости и немедленно отправился в дом своего друга Чарльза Андерсона, юриста, открытого юниониста и аболициониста, который впоследствии стал полковником Девяносто третьей добровольческой пехоты Огайо, а затем губернатором штата Огайо. О Ли многое говорит тот факт, что он дружил с таким человеком, как Андерсон, который был с ним категорически не согласен, хотя на данном этапе, во всяком случае, он и Андерсон были одного мнения о техасских сепаратистах. Возможно, из-за того, что он был зол, Ли откровенничал о своей позиции больше, чем с кем-либо еще, кроме своей семьи. "Поведение этих людей [техасских комиссаров] не может отвратить меня от чувства долга. Я по-прежнему считаю... что моя лояльность Виргинии должна превалировать над лояльностью федеральному правительству. И я так и заявлю о себе в Вашингтоне. Если Вирджиния будет поддерживать Союз, то и я буду поддерживать, но если она отделится, то я пойду за своим родным штатом с мечом, а если понадобится, то и с жизнью". Хотя он сказал другому другу, что планирует вернуться домой и посадить кукурузу, и тогда в мире станет "на одного солдата меньше", он не мог представить, что Вирджиния будет нейтральной, или что его оставят в покое, чтобы возделывать свой сад. Ли попросил Андерсона придержать его вещи и переправить их в Арлингтон, на что Андерсон согласился. Решив эту проблему, Ли отправился домой через Индианолу (в то время это был процветающий техасский морской порт, но после Гражданской войны он превратился в город-призрак) и Новый Орлеан.
Он прибыл в Арлингтон 1 марта, за три дня до инаугурации Авраама Линкольна - первой президентской инаугурации в Вашингтоне со времен Томаса Джефферсона, на которой не присутствовал ни один из членов семьи Ли или Кэстис.