Работу Ли не облегчало разделение полномочий и ярость, царившие в форте. В форте Монро находилась артиллерийская школа армии, и ни ее командиру, ни его артиллеристам не нравилось присутствие инженеров, поэтому между ними постоянно возникали драки, а также споры между полковником Юстисом, который командовал фортом и школой, и капитаном Эндрю Талкоттом, который командовал инженерами и чья многочисленная и неуправляемая гражданская рабочая сила, белые и черные, раздражала полковника.
Роберт и Мэри Ли поселились в голых, скудно обставленных комнатах форта в начале августа 1831 года, после своеобразного медового месяца, проведенного в гостях у многочисленных родственников в сопровождении миссис Кьюстис. В переписке Ли пытались найти мягкое или шутливое упоминание о его сексуальных отношениях с невестой, но это кажется надуманным, поскольку единственный комментарий, на котором основаны эти попытки, содержится в письме капитану Талкотту, написанном из Рэйвенсворта во время медового месяца: "Я бы рассказал вам, как прошло время, но боюсь, что я слишком предвзят, чтобы сказать что-то большее, но что оно прошло очень быстро и продолжает идти", и извиняется за то, что не написал раньше. "На самом деле я не мог найти времени до отъезда из округа ни на что, кроме...". Эротика здесь довольно скромная, даже по меркам того времени, но никто не сомневался, что Ли был "блаженно счастлив", хотя те, кто видел новую пару, были больше впечатлены его внешностью, чем ее, а один из них заметил, что он уже "больше похож на великого человека, чем кто-либо, кого я когда-либо видел".
Контраст между внешностью Ли - торжественного "великого человека" даже в столь раннем возрасте - и игривостью и нахальным добрым юмором его поведения в частной или светской обстановке уже тогда был поразительным. Он любил играть с маленькими детьми и животными (особенно с кошками) и был очень сентиментален по отношению к лошадям. С красивыми молодыми женщинами он был кокетлив - похоже, что дразнить и флиртовать с ними было своего рода пожизненным хобби Ли. Например, во время своего медового месяца он написал Элизе Маккей, одной из девушек из семьи, у которой он остановился в Саванне, чтобы поздравить ее со свадьбой: "Как бы мне хотелось сказать: "Мистер и миссис Ли имеют честь принять любезное приглашение миссис Маккей. . . .' Но это не может быть мисс Элизе (моей возлюбленной), потому что оно прибыло сюда только вчера вечером, и это говорит о том, что с тех пор я в слезах при мысли о том, что могу потерять тебя. О я! . . . Но мисс Э. как вы относитесь к этому времени? Скажем, в 12 часов дня, когда вы видите, как тени начинают падать на восток, и знаете, что наконец-то солнце зайдет? Хотя вы, может быть, и не испугались, я полагаю, что вы очень встревожены".
Возобновив письмо через несколько дней, он написал: "И как ты развлекалась, дитя мое? Все прошло хорошо, как торпеда в рождественское утро". Этот тон очень характерен для личной переписки Ли - живая и милая смесь добродушного taquinerie, как французы называют нежное поддразнивание, ничуть не неприличное, но очень интимное и полное легкомысленного очарования: никакого "Мраморного человека" здесь нет! Фрейдист мог бы прочесть немного больше в упоминании о "торпедном крекере" и предположить, что это может относиться к брачной ночи Элизы, но то, что все это было совершенно невинно, подтверждается тем фактом, что он показал свое письмо Мэри, которая добавила теплую, хотя и заметно более формальную, ноту поздравлений от себя. Это та сторона Роберта Э. Ли, которую следует иметь в виду: он был сентименталистом до- или ранневикторианской эпохи, страстно любил домашний уют, увлекался красивыми девушками и красивыми женщинами и постоянно испытывал глубокую потребность в тепле, восхищении и привязанности с их стороны, возможно, более глубокую, чем Мэри могла бы обеспечить в долгосрочной перспективе. Что бы он ни думал, трагедия его жизни заключалась не столько в том, что он выбрал "военное образование", сколько в том, что служба в армии так часто разлучала его с любимой семьей, иногда надолго.