Из Сан-Антонио Ли продолжал беспокоиться о состоянии имущества своего покойного тестя, но, по крайней мере, он был избавлен от ежедневной борьбы с людьми, которые там работали, и от постоянного обнаружения все новых и новых предметов в бесконечном списке того, что нужно было почистить, отремонтировать, покрасить или заменить. Никто не стал бы отрицать любовь Ли к Виргинии или то, что он считал себя и многие ветви своей семьи виргинцами, но опыт управления фермой в Виргинии не доставил ему ни удовольствия, ни удовлетворения от того, чего он смог добиться. В письме к Кэстису он подвел итог своему недовольству собственными усилиями: "Я ничего не смог сделать с территорией вокруг дома, кроме уборки на холме... . . Поэтому, боюсь, вы найдете все грубым и неприглядным, как бы мне ни хотелось привести в порядок жилище вашей матери и подготовить для вас приемлемый дом".
Старое чувство неудачи, которое преследовало его всякий раз, когда он думал о своей военной карьере, вернулось к нему сильнее, чем когда-либо. Он был пятидесятитрехлетним мужчиной, прослужившим в армии тридцать пять лет, и чувствовал, что ему почти нечего показать, а надежд на продвижение по службе было мало. Его старый друг и однокашник Альберт Сидни Джонстон был повышен до генерал-квартирмейстера, что означало звание бригадного генерала, и Ли чувствовал себя еще большим неудачником, а пребывание в Сан-Антонио не способствовало поднятию его настроения. Поскольку он не знал, как долго продлится его командование, он поселился в пансионе, вместо того чтобы тратиться на обустройство собственного штаба. Ему не нравились ни еда, ни общество незнакомцев. Его главной заботой были набеги команчей, которые уносили скот, лошадей и мулов, но численность его отряда упала до такого низкого уровня, а состояние лошадей было настолько плохим, что в конце концов он был вынужден отправить членов группы на всех лошадях, которые они могли найти, на поиски индейских налетчиков.
Еще одной заботой Ли был мексиканский бандит Хуан Кортинас, который совершал набеги на американские поселения вдоль Рио-Гранде. Мексиканские власти практически ничего не предпринимали, чтобы помешать ему. Ли сам отправился в погоню за Кортинасом в сопровождении роты кавалерии, но обнаружил, что Кортинас бежал через реку в Мексику. Ли был готов преследовать его через границу Мексики, если потребуется, но не раньше, чем написал довольно жесткое письмо ближайшему мексиканскому начальству, "Его Превосходительству. Андресу Тревино, губернатору штата Тамулипас и т.д.", в котором довел до его сведения, что Ли "получил указание от военного министра США уведомить власти Мексики на границе Рио-Гранде, что они должны разбить и разогнать банды бандитов, которые участвовали в этих грабежах и искали защиты на мексиканской территории".
Это не остановило проблему, и через десять дней Ли получил протест от генерала Г. Гарсии по поводу некоторых техасских рейнджеров, которые пересекли границу реки в погоне за неуловимым Кортинасом. Его ответ Гарсии был еще более резким, чем его первое послание губернатору. "Для достижения этой цели, - писал он, - я задействую, если потребуется, все силы этого департамента". Хотя Ли в конце концов выполнил свое предупреждение, отправив две роты американской кавалерии через Рио-Гранде в Мексику, хитрый Кортинас продолжал ускользать от тех, кто был послан в погоню за ним. Это могло только усугубить уныние Ли. Можно было бы предположить, что отрыв от стола и возвращение в седло с саблей и пистолетом наготове в погоне за вооруженными бандитами поднимет Ли настроение, но, похоже, этого не произошло.