Именно этого опасались жители Юга. Назначенный временно командовать департаментом Техас, Ли вернулся туда в феврале 1860 года, чтобы возобновить преследование мексиканских бандитов и банд команчей на границе. Он не останавливался на личной встрече с Джоном Брауном или на своей роли в одной из самых ярких драм в американской истории, но в его переписке с друзьями и семьей чувствуется растущая тревога, усиленная переживаниями в Харперс-Ферри, по поводу скорости, с которой, казалось, распадался Союз. Его так же мало радовали экстравагантные требования тех, кого он называл, с естественным отвращением виргинского аристократа к шумным и буйным нуворишам больших хлопковых плантаций, "хлопковых штатов", как они себя называют", как и яростная враждебность аболиционистов к Югу. Его ужасали разговоры южан о "возобновлении работорговли", против которой он "выступал по всем пунктам", а опыт общения с рабами своего тестя еще больше испортил его отношение к рабству как к институту. Он считал сецессию "революцией", отвергал ее как глупость и "не мог предвидеть большего бедствия для нашей страны, чем распад нашего союза". В Сан-Антонио он был подавлен, одинок и тосковал по дому, глубоко осознавая тот факт, что он был пятидесятидвухлетним офицером, который более тридцати лет медленно поднимался от лейтенанта до подполковника; и в его возрасте у него было мало надежды когда-нибудь достичь звания бригадного генерала, поскольку в списке на повышение было двадцать два человека старше него. Словом, он достиг такого возраста, что теперь, когда уже слишком поздно, начал сомневаться в правильности своего выбора профессии. Он не имел ни малейшего представления о славе, которая его ожидала.
Никогда особо не интересовавшийся политикой, возможно, потому, что политика привела его отца к позору и ранней могиле, Ли был встревожен растущей жестокостью политической риторики по мере того, как страна продвигалась к выборам нового президента, и угрозами отделения, которые он слышал вокруг себя в случае избрания Линкольна. "Я надеюсь, - писал он, - что мудрость и патриотизм страны придумают какой-нибудь способ ее спасти, и что доброе Провидение еще не отвернуло от нас поток своих благословений". Роберт Э. Ли был виргинцем, который более тридцати лет прожил за пределами Юга, за исключением коротких периодов жизни в Арлингтоне и службы в Техасе. Он был космополитом и чувствовал себя в Нью-Йорке как дома, как и на Юге; он был против сецессии; он не считал сохранение рабства целью, за которую стоит бороться; его преданность своей стране была интенсивной, искренней и глубоко прочувствованной.
На фоне бурного энтузиазма по поводу отделения Техаса после избрания Линкольна он старался держать свое мнение при себе, но в одном случае, когда его спросили, "кому в первую очередь должен быть предан человек - своему штату или нации", он "высказался, причем недвусмысленно. Его учили верить, и он верил, сказал он, что его первые обязательства - это обязательства Вирджинии". Этой простой, старомодной точкой зрения Ли должен был руководствоваться в течение следующих четырех лет, на протяжении которых он станет главным генералом и, по сути, фигурантом дела, в которое он не совсем верил. Он сравнивал свое положение с положением Вашингтона, который был для Ли не далекой исторической фигурой, а сводным прапрадедом его жены и другом и покровителем его собственного отца. Он прочитал книгу Эдварда Эверетта "Жизнь Вашингтона", когда до него дошли плохие новости о сецессии, и хотя он был слишком скромен, чтобы отождествлять себя с великим человеком, он вряд ли мог не увидеть в дилемме Вашингтона параллель со своей собственной. "Вашингтон, - писал Эверетт, - по натуре самый лояльный к порядку и закону человек, чьим правилом жизни в обществе было повиновение законной власти, с самого начала твердо стоял на стороне Америки; не оберегая, не помышляя, вплоть до самого взрыва, о насильственном сопротивлении материнской стране, но и не отступая от него, когда колонии были вынуждены применить свои принципы как неизбежный результат".
"Сецессия, - писал Ли, - это не что иное, как революция. . . . Была бы установлена анархия, а не правительство Вашингтона, Гамильтона, Джефферсона, Мэдисона и других патриотов революции. . . . И все же Союз, который можно поддерживать только мечами и штыками, в котором раздоры и гражданская война заменяют братскую любовь и доброту, не имеет для меня никакого очарования". В результате принципов, которые он разделял со своими соотечественниками-виргинцами, Ли тоже, пусть и с неохотой, должен был взять в руки оружие, когда грянет "взрыв".