Хотя Мэри Ли была сильно больна ревматоидным артритом и иногда производила впечатление беспомощной южной красавицы, на самом деле она была смелой и откровенной женщиной, которая не разделяла ни нелюбви своего мужа к конфронтации, ни его относительно умеренных взглядов на растущую пропасть между Севером и Югом. Медицина в середине девятнадцатого века была такой, какой она была, и единственное лечение, которое врачи могли назначить для ее состояния, - это "принимать воды", то есть купаться или пить воду из минеральных источников, которых в Вирджинии было и остается великое множество, включая Горячие источники, Теплые источники, Белые серные источники и Рокбриджские ванны. Джонс Спрингс находился за границей, в Северной Каролине. Мэри посетила их все в поисках облегчения. Несмотря на то что путешествия были для нее мучительно трудными, ей удалось побывать на удивительном количестве курортов; А во время пребывания Ли в Сан-Антонио ей даже удалось добраться до Канады, в Колодец Святой Екатерины, расположенный к северу от Ниагарского водопада, - "долгое путешествие через Балтимор, Нью-Йорк и Эльмиру", которое она совершила в компании своего сына Кьюстиса, дочери Агнес и кузины Марки Уильямс, оставив дочь Энни присматривать за слугами в Арлингтоне и отправлять Милли (младшего ребенка Ли) в школу-интернат. Даже с тремя родственниками, помогавшими Мэри, путешествие не было легким, но, похоже, ей понравились главные живописные достопримечательности - Ниагарский водопад и озеро Онтарио, хотя даже более полутора веков назад она жаловалась на множество зданий вблизи водопада и коммерцию. Ее поразило большое количество беглых рабов, живших в Канаде, по другую сторону границы с Соединенными Штатами, и ужасные условия, в которых они жили. "Мне сказали, - писала она Энни, - что они очень страдают здесь в долгие холодные зимы". Возможно, к счастью, она не узнала среди них ни одного знакомого лица.
Оставив Агнес и Марки в Нью-Йорке, она вернулась в конце лета, несмотря на "все более поляризованную атмосферу" Севера. Маловероятно, что Мэри скрывала свои собственные чувства по этому поводу. Она была потрясена угрозами южан об отделении - не зря же она была сводной правнучкой Джорджа Вашингтона, - но не меньше ее возмущали растущие аболиционистские настроения северян, с которыми она встречалась. Даже когда Мэри Ли вернулась домой в Вирджинию, она обнаружила, что чувства северян тоже очень сильно возросли. Поэтому, когда Кэстису "пришлось отлучиться на несколько дней", он попросил своего сослуживца по военному министерству Ортона Уильямса, брата Марки, остаться в Арлингтоне, "чтобы присмотреть за нами, одинокими женщинами", как выразилась миссис Ли.
По мере того как штат за штатом отделялись друг от друга, и Кэстис Ли, и Ортон Уильямс стремились уволиться из армии США и поступить на службу в формирующуюся армию Конфедерации. Это вызвало гневное письмо Ли - именно такой поступок он не совершил бы сам и не хотел, чтобы совершил кто-то из его семьи; возможно, это способствовало формированию у него мнения о том, что Ортон Уильямс - горячая голова, что впоследствии будет иметь серьезные последствия как для Уильямса, так и для семьи Ли. Он был полон решимости хранить верность Соединенным Штатам до тех пор, пока Вирджиния не отделится, или если только не отделится, и по возвращении домой решительно пресекал любые вольные разговоры и спекуляции на эту тему. Это, однако, не помешало Мэри высказать свое твердое мнение, что, победив на выборах, Линкольн должен был уйти в отставку до вступления в должность, "если бы он был настоящим или бескорыстным патриотом", в качестве примирительного жеста по отношению к Югу: "Ничто из того, что он может сделать сейчас, - твердо продолжала она, - не встретит благосклонности со стороны Юга".
Даже если Ли был согласен с ней - а нет никаких признаков того, что он был согласен, - это было именно то крайнее мнение, которого он больше всего хотел избежать. Он прекрасно понимал, как важна точная формулировка в этот момент, когда он шел по тонкой грани между своим долгом перед правительством США и верностью Вирджинии. Он был не одинок. Мэри Чеснат, остроумная и неутомимая дневниковая писательница из Южной Каролины, чьи комментарии полны добрых сплетен и потрясающего здравого смысла, и которая, похоже, была знакома со всеми значимыми людьми в правительстве Конфедерации, отметила, что старший брат Ли, командующий Сидни Смит Ли, хотел бы, чтобы "Южная Каролина была разнесена в пух и прах... за то, что нарушает работу его любимого" флота США, и это чувство Роберт Э. Ли вполне мог разделять в отношении американской армии.