Энн Картер Ли было достаточно трудно отправить своего старшего сына, Чарльза Картера Ли, в Гарвард; она никак не могла позволить себе отправить в колледж и младших братьев Картера. Следующего по возрасту, Сиднея Смита Ли, она отправила на флот, добившись от президента Монро назначения его мичманом - в те времена еще не было военно-морской академии; профессию морского офицера можно было освоить, отправившись в море мичманом. Поэтому, должно быть, естественным казалось отправить третьего, молодого Роберта, в армию; в конце концов, он был здоров, хороший наездник, смел, энергичен, хорошо разбирался в математике (непременная основа военной науки) и был сыном знаменитого генерала. В то время Военной академии США в Вест-Пойнте (штат Нью-Йорк) было всего пятнадцать лет, и она все еще была чем-то вроде инновации, причем отнюдь не популярной, поскольку многие, если не большинство американцев, не хотели создавать "офицерский класс", как в Великобритании и европейских странах, и в любом случае лелеяли миф, что Революционную войну выиграли ополчения штатов и крепкие фермеры вроде минитменов, которые взяли со стены винтовку и флягу с порохом и отправились сражаться с рыцарями. На самом деле одним из величайших вкладов Вашингтона в победу было создание обученной и профессиональной армии, которая могла бы сражаться вместе с еще более профессиональной французской армией, и никто не осознавал более четко необходимость страны в хорошо обученном офицерском корпусе. Для Энн Картер Ли самым важным преимуществом было то, что Вест-Пойнт давал возможность получить бесплатное образование в колледже, а также стать ступенькой к почетной, хотя и малооплачиваемой профессии.
Трудно предположить, в какой степени учитывались пожелания Роберта. В более поздние годы он часто жалел о том, что выбрал профессию военного, но, возможно, он с большим энтузиазмом относился к ней, когда ему было шестнадцать лет и он только что окончил Александрийскую академию. Похоже, что это было тщательно продуманное семейное решение о том, что делать с юным Робертом, а не результат какого-либо желания с его стороны стать солдатом. Сложность заключалась в том, что Вест-Пойнт был маленьким, и в 1823 году туда было очень трудно поступить. В то время еще не существовало конкурсных экзаменов для поступления в Военную академию США; назначение осуществлялось "по желанию президента, по представлению военного министра, который в то время не придерживался никаких правил относительно географического распределения". Это означало, что репутация семьи и то, что мы сегодня называем политическим влиянием, играли важную роль в назначении мальчика кадетом. Президент Монро был виргинцем, и на имя Ли можно было рассчитывать; в конце концов, он уже сделал брата Роберта мичманом. Но военным министром был Джон К. Кэлхун, южнокаролинский фанатик прав штатов, нуллификации и рабства, на которого посыпались просьбы достойных южных семей выдвинуть сына в Военную академию США. Необходимо было найти стратегию, чтобы обеспечить выдвижение Роберта, и удивительно то, насколько сам Роберт, шестнадцатилетний юноша, провел хитроумную, хорошо спланированную и успешную кампанию, свидетельствующую о том, что он уже обладал отличными организаторскими способностями, хорошим политическим чутьем и способностью преодолевать застенчивость, которую все ему приписывали. Когда что-то имело для него значение, он смело брался за дело, хотя и не проявлял честолюбия - возможно, это еще один урок, тихо извлеченный из катастрофического падения его отца, чьи амбиции были слишком очевидны для всех.
Выбор благодетеля и советника его матери Уильяма Фицхью для написания рекомендательного письма Кэлхуну был вполне естественным - Фицхью, хотя и был очень богат и имел большие связи, был дальним родственником, не Ли и не Картером, и мог показаться более объективным, рекомендуя молодого Роберта, чем более близкий родственник. Действительно, пожалуй, самым важным в письме Фицхью был его заголовок: "Равенсворт, 7 февраля 1824 года". Равенсворт был одним из самых известных великих домов Вирджинии и почти гарантировал пристальное внимание военного секретаря.