Шутка заключается в том, что во время затянувшейся борьбы генерала Скотта с президентом Полком в начале Мексиканской войны в 1846 году Скотт отсутствовал в своем кабинете, когда к нему обратился тогдашний военный секретарь Марси с подробным отчетом о недовольстве президента Полка. Вернувшись к своему столу, Скотт написал Марси подхалимское письмо с извинениями за свое отсутствие, в котором расхваливал "превосходное чувство, военное понимание и любезность" президента и содержал досадную фразу о том, что он покинул свой кабинет только для того, чтобы "наспех съесть тарелку супа". Это письмо, когда оно "просочилось", о чем Скотт должен был догадаться, вызвало всенародные насмешки в прессе, часто сопровождаемые нелестными карикатурами, как в связи с тем, что Скотт, уже набравший значительный вес в районе середины тела, был хорошо известен как сытный и разборчивый гурман, для которого время приема пищи было одновременно и пышным, и священным - трудно представить человека, менее склонного принять "тарелку супа на скорую руку" за еду. Это привело одного из друзей Скотта к выводу (правильному), что он "совершил политическое самоубийство". В 1852 году Скотт действительно баллотировался в президенты от партии вигов и выиграл только четыре штата.
Биографы Ли обычно пишут о нем так, будто он не интересовался политикой, но это не совсем так. Хотя Ли с недоверием относился ко всем политикам, как Союза, так и Конфедерации, и стремился представить себя человеком без политики, на самом деле он был проницательным, хотя и осторожным наблюдателем политических событий, а поскольку значительная часть его военной карьеры до 1861 года прошла в общении с комитетами Конгресса по поручению главного инженера или военного министра, он обладал весьма развитыми знаниями в области политики для сравнительно младшего офицера.
Период, когда Ли занимал должность суперинтенданта Военной академии США, был периодом сильных политических потрясений и растущего раздражения между северными и южными штатами по поводу животрепещущего вопроса о том, можно ли распространить рабство на огромную территорию, захваченную у Мексики в 1848 году, и насколько далеко. Уровень политической ярости резко возрастал. Хотя большинство "умеренных" людей на Севере все еще смирялись с существованием рабства к югу от так называемой линии Мейсона-Диксона, то есть в тех штатах, где рабство было устоявшимся институтом еще до Американской революции, они в той или иной степени выступали против его распространения на новые территории. На Севере аболиционисты все еще оставались небольшой группой экстремистов. Даже те, кто выступал за окончательную ликвидацию рабства, в большинстве своем выступали за то, чтобы это происходило медленно, возможно, с некоторой компенсацией для рабовладельцев, но без какой-либо мысли о том, что бывшие рабы могут когда-нибудь стать согражданами с полным правом голоса. За исключением богатых рабовладельцев на плантациях глубокого Юга и тех, кто работал в сфере работорговли, большинство американцев относились к рабству как к трагической национальной ошибке. Отношение самого Ли к рабству было типичным для "умеренных" южан: они владели рабами, зависели от рабского труда и прилагали некоторые усилия, чтобы хорошо относиться к рабам в рамках реальности отношений между хозяином и рабом; но они надеялись, что в далеком будущем рабство в конце концов будет ликвидировано, а большинство рабов доброжелательно переселят в другое место, возможно, в Либерию. Тем временем жизнь рабов на фермах Ли оставалась неизменной, как и повсюду на Юге: долгий, изнурительный труд из поколения в поколение, без особых надежд на продвижение по службе.
В годы учебы Ли в Вест-Пойнте тема рабства уже становилась главной темой американской политики, и хотя сменявшие друг друга президенты и Конгресс со все большим трудом находили новый компромисс, который заменил бы предыдущий, каждое присоединение территории, каждое новое предложение о создании штатов для бывших территорий и даже такое дальновидное и благожелательное предложение, как строительство трансконтинентальной железной дороги, вызывало ожесточенные споры между сектами, в центре которых было рабство. Словно предзнаменование, в 1852 году была опубликована книга Гарриет Бичер-Стоу "Хижина дяди Тома", ставшая второй самой продаваемой книгой XIX века в США (после Библии), что еще больше накалило страсти по обе стороны раскола.