Вест-Пойнт, в который возвращался Ли, стал намного больше, чем был, когда он сам был кадетом. История Вест-Пойнта - это история постоянного роста и совершенствования, и годы между 1829 и 1852 не были исключением, но в своей основе он все еще подчинялся уставу и непреклонному кодексу чести, установленным полковником Сильванусом Тайером в годы его работы в качестве суперинтенданта. Эти правила Ли знал наизусть и, что самое важное, принимал их без оговорок. Как ни трудно было Ли иногда добиваться соблюдения правил Тайера, он не сомневался ни в их важности, ни в том, что кадеты должны полностью и добровольно подчиняться им во всех деталях.
Обязанности суперинтенданта были столь же требовательны и непреклонны. Даже самое незначительное и малозначительное решение требовало горы корреспонденции, большая часть которой направлялась начальнику инженерного корпуса, если речь шла о кадетах, или военному секретарю, если речь шла о вопросах политики. Даже просьба кадета "получить пакет носков из дома" должна была пройти путь по командной цепочке до стола Ли, а затем быть отправлена главному инженеру в Вашингтон для одобрения или неодобрения, с приложением подписанной Ли рекомендации. Огромный объем бумажной работы заставлял вздыхать даже Ли.
Ли прибыл в Вест-Пойнт в августе 1852 года один, и хотя Мэри не торопилась присоединяться к нему - как отмечают все биографы Ли с нескрываемой критикой, - не кажется неразумным, что он потратил некоторое время на изучение деталей своего нового командования и на то, чтобы все было в порядке к ее приезду. Это был не маленький переезд. Мэри приехала с четырьмя детьми - Мэри, Руни, Робом и Милдред, которым было соответственно семнадцать, пятнадцать, девять и шесть лет, в то время как тринадцатилетняя Энн и одиннадцатилетняя Агнес остались в Арлингтоне с бабушкой и дедушкой под присмотром гувернантки. Их дочь Мэри была помещена в школу-интернат в Вестчестере, а Руни - в Нью-Йорке, но переезд остальных вместе со всеми их вещами из Вирджинии в новый дом, который Мэри Ли никогда не видела, не мог быть легким для женщины, привыкшей к окружению знакомых слуг. Лошади семьи, а также вся мебель вскоре прибыли, и, судя по описанию Роба, покои суперинтенданта (ныне известные как Квартал 100 на Джефферсон-роуд) были достаточно большими и удобными, чтобы устроить Мэри. Первоначально дом был построен в 1820 году для полковника Тайера и представлял собой основательное двухэтажное кирпичное здание, выкрашенное в белый цвет, с четырьмя дымовыми трубами, каждая из которых была увенчана колпаком в виде искусно выполненного декоративного греческого или римского храма. Это был не только дом для управляющего, но и подходящее место для приема гостей. "Дом был построен из камня, - писал Роб, вспоминая о нем много лет спустя, - большой и просторный, с садом, конюшней и пастбищем. Мы, двое младших детей, наслаждались всем этим. Грейс Дарлинг и Санта-Анна [пони, которого Ли купил для Роба в Мексике] были с нами, и я много раз совершал прекрасные прогулки с отцом после обеда, когда, освободившись от работы, он садился на свою старую кобылу и, держа Санта-Анну рядом со мной, отправлялся рысью на пять или десять миль. Несмотря на то, что пони прекрасно скакал, он заставлял меня держать его рысью, игриво говоря, что удары, которые я получаю, идут мне на пользу. Мы ехали на драгунском сиденье, * без постового, и пока я не привыкла к этому, я очень уставала к тому времени, когда возвращалась обратно".
Это типично для Ли - настаивать на сиденье, которое, должно быть, было столь же неудобным как для лошади, так и для всадника. Роб будет жаловаться на то же самое, что ему пришлось ездить на Тревеллере с драгунским сиденьем для своего отца во время Гражданской войны десятилетие спустя. Есть что-то умилительное в том, как Ли использовал эти прогулки между отцом и сыном не только для того, чтобы внедрить уже устаревший стиль верховой езды, но и для того, чтобы закалить Роба.
Ли был прирожденным педагогом и никогда не был так счастлив, как когда его дети учились делать что-то правильно. Роб рассказывает, что его отец приложил немало усилий, чтобы он научился кататься на коньках, плавать и даже кататься на санках. По возможности он сам учил детей. Как только каждый из них становился достаточно взрослым, он присылал в его отсутствие длинные письма с моральными и практическими советами. Письмо, которое он написал "Моей драгоценной Энни", тогда четырнадцатилетней, из Вест-Пойнта, типично в своем сочетании веселого доброго юмора и твердых наставлений: "Мне сказали, что ты растешь очень высокой и, я надеюсь, очень прямой. Не знаю, что скажут кадеты, если дети суперинтенданта не будут практиковать то, что он от них требует".