Свидетельством любви и терпения Ли является то, что его дети не взбунтовались; более того, они, похоже, процветали. Кустис окончил Военную академию США, а Руни - Гарвард; все трое мальчиков с отличием служили в армии Конфедерации, двое из них стали генерал-майорами, а младший поднялся от звания рядового до капитана в самых тяжелых боях войны. Хотя биографы Ли стараются избегать фрейдистских спекуляций, тем не менее интересно, что ни одна из его четырех дочерей никогда не выходила замуж, возможно, потому, что было трудно найти кого-то, кто соответствовал бы стандартам их отца, возможно, потому, что он просто оставался, благодаря своей постоянной привязанности, интересу и вниманию ко всему, что они делали, доминирующей мужской личностью в их жизни.
В идеальном мире все это могло бы сделать Ли именно тем человеком, который подходит для должности суперинтенданта Вест-Пойнта, но с самого начала он считал себя родителем каждого из своих кадетов и устанавливал для них те же высокие стандарты, что и для собственных детей. Каждый день, кроме воскресенья, дверь в его кабинет была открыта на один час с шести утра до семи, и Ли ждал за своим столом в безупречной парадной форме любого кадета, у которого была моральная или личная проблема, чтобы поделиться с ним. Возможно, он и не подозревал о своем устрашающем присутствии - наверняка Ли недооценивал, сколько времени и эмоциональной энергии потребуют проблемы и невзгоды кадетов от такого перфекциониста, как он, и именно тогда его волосы начали седеть, что стало первым шагом на пути от лихого молодого офицера к утомленному патриарху.
Кодекс чести Вест-Пойнта, хотя и читается достаточно просто, в реальной жизни столкнул его с непрекращающимся потоком озадачивающих моральных сложностей и кажущихся бесконечными придирок, которые испытали бы терпение святого. Его младший сын, Роб, испытал это на себе во время одной из послеобеденных прогулок с отцом, когда они неожиданно натолкнулись на трех кадетов далеко за пределами того места, куда им разрешалось заходить без разрешения. Курсанты, увидев Ли, перепрыгнули через невысокую стену и скрылись в овраге. "Минуту мы ехали молча, - писал Роб много лет спустя, - а потом мой отец спросил: "Ты знал этих молодых людей?"". Прежде чем Роб успел ответить, Ли мягко попросил его не отвечать на этот вопрос: "Но нет, - сказал он, - если знал, то не говори". Затем, спустя мгновение: "Я бы хотел, чтобы мальчики поступали правильно, это было бы намного проще для всех сторон".
Кодекс предписывал кадетам не лгать, не обманывать и не воровать, а также не терпеть тех, кто это делает; но, с другой стороны, в сознании Ли, как и в сознании каждого из его кадетов, было прочно укоренилось, что джентльмен не раскрывает властям имя другого. Ли, конечно, должен был доложить об увиденном коменданту кадетов, но поскольку Роб не сказал ему, кто эти кадеты, наказать их было бы невозможно. В маленьком, личном масштабе это была именно та дилемма, с которой Ли сталкивался каждый день, будучи суперинтендантом Вест-Пойнта, в результате чего три года его пребывания во главе школы запомнились главным образом тем, что ему пришлось уволить Джеймса Макнилла Уистлера, который стал, пожалуй, самым значительным американским художником своего времени.
"Если бы кремний был газом, я бы в один прекрасный день стал генерал-майором", - это, пожалуй, одно из самых известных высказываний Уистлера. Оно относится к тому факту, что он не смог правильно ответить на первый вопрос на экзамене по химии в Вест-Пойнте, и это привело к его увольнению Ли. Странно, что молодой Уистлер, уже одаренный рисовальщик, язвительный карикатурист и полноправный эксцентрик, вообще стремился поступить в Вест-Пойнт и не был принят. Даже восхищенный комментатор описывает его как "угрюмого и наглого" - угрюмость и наглость не являются перспективными чертами характера для кадета, к тому же он был близоруким, имел слабое здоровье и острое чувство насмешки. Он отказался от идеи стать церковнослужителем и, очевидно, решил стать солдатом, хотя не проявлял никакого интереса к военному делу и плохо сидел на лошади. Примечательно, что со своими длинными всклокоченными волосами (в Вест-Пойнте его прозвали "Кудрявый") и неряшливой формой он сумел продержаться в качестве кадета три года.