Вероятно, По хотел остаться в Балтиморе, однако он был очень беден, и поэзия не могла спасти его от нищеты. Известно, что в декабре 1829 года он продал одного из рабов миссис Клемм, а в начале 1830 года был вынужден вернуться к Джону Аллану. Куда еще он мог податься, кроме Ричмонда? Только там его терпели, правда без особой радости и ясно давая понять, что в скором времени ему придется отправиться в Вест-Пойнт. Атмосфера в доме была напряженной, и в письме к сержанту Грейвсу, одному из своих кредиторов, По признался: «Десять раз пытался получить для вас деньги у мистера А [ллана] — но тот так или иначе увиливает». Кроме того, По роняет вскользь, что «мистер А. не всегда трезв» — замечание, за которое он позднее поплатится.
В середине мая 1830 года По покидает Ричмонд. Аллану он писал: «Уезжая от вас, я стоял на палубе парохода и понимал, что больше мы никогда не увидимся». На день или два По задержался в Балтиморе, а потом отправился в Вест-Пойнт, Военную академию Соединенных Штатов Америки, построенную на зеленом плато, вознесенном на высоту в две сотни футов над рекой Гудзон в штате Нью-Йорк, туда, где с 1804 года обучались американские офицеры. Чарльз Диккенс в «Американских заметках» описывал это место как «очень красивое и замечательно расположенное между восхитительными холмами над рекой, прячущееся за зелеными вершинами и разрушенными фортами и глядящее на дальний город Ньюберг поверх сверкающей водной глади, по которой время от времени скользят парусники…».
Вместе с еще тремя кадетами По был расквартирован в Южных казармах, и ему положили жалованье в размере шестнадцати долларов. Молодой поэт носил форму синего цвета, однобортный мундир, фуражку с кокардой и саблю на ремне. Утренняя побудка происходила на рассвете. После завтрака начинались лекции, которые в четыре часа сменялись муштрой и строевыми занятиями, продолжавшимися до ужина, который кадетам подавали в большой офицерской столовой, после чего их отправляли в казармы для дальнейших занятий. Свет выключали в половине десятого. Для безделья времени не оставалось.
От современников до нас дошли разные, иногда противоречивые, воспоминания о По этого периода. Один из кадетов запомнил его как «беззаботного, неряшливого парня, весьма эксцентричного, любившего выпить и, естественно, предпочитавшего писать стихи вместо того, чтобы решать уравнения». Не очень похоже на правду. По никогда не был «неряшлив» в одежде или невнимателен к своей внешности. Другой кадет пишет о По с большим правдоподобием как о человеке «застенчивом, гордом, чувствительном и плохо сходящемся с другими кадетами. Несравнимо больше времени он посвящал чтению, чем учебе…». Однако он все успевал, как бы мало времени ни тратил на учебу. По всегда быстро схватывал материал. Он посещал классы французского языка и математики и на экзаменах за год был семнадцатым по математике и третьим во французском. Совсем ни с кем не общаться он не мог, иначе откуда бы его соученики узнали некоторые подробности его прошлой жизни? Он рассказал им, что закончил колледж в Англии, охотился на китов, побывал в Южной Америке и на Востоке. По был прирожденным фантазером, что в равной степени доказывает как неуверенность его в себе, так и гордость.
Наиболее полно описал Эдгара По, каким тот был в академии, кадет Гибсон, живший с ним в одной комнате и особо отмечавший в своих воспоминаниях «усталый, безрадостный, недовольный вид» поэта, «вид, который трудно забыть тем, кто близко соприкасался с По. Он легко выходил из себя из-за любой мелочи, которую всегда принимал на свой счет… Почти сразу, несмотря на недолгий срок пребывания в Вест-Пойнте, По утвердился как талантливый человек, и из комнаты № 28 чуть ли не каждый день расходились стихи и эпиграммы на случай…». Гибсон еще добавил, что «никогда не слышал, чтобы По хвалил кого-нибудь из английских писателей, будь то живые или мертвые». По не упускал возможности обвинить современника в плагиате или, еще хуже, в незнании грамматики. Он всегда презрительно отзывался о тех, кто хотел соперничать с ним. Еще у него была репутация любителя розыгрышей, и от этой привычки шутить и разыгрывать он не избавился до самой смерти. Его шутки были жутковатыми и даже кровожадными. Однажды он уверял, что тушка гусака со свернутой шеей на самом деле была трупом нелюбимого учителя. Ему нравилось пугать приятелей. В этом он тоже был неизменен.
Довольно быстро По надоело пребывание в Вест-Пойнте. Один из современников утверждает, что По потерял интерес к учебе всего через «несколько недель», потом «впал в уныние и разочарование». Не о такой жизни для себя он мечтал. К тому же он опять наделал долгов. В результате По задумал уйти в отставку. К сожалению, этого нельзя было сделать без разрешения на то отца или опекуна, и По написал Джону Аллану, прося его совета. Ответом ему было: «Категорически против». У Аллана не оставалось сомнений в том, что По вернулся к прежним своеволию и беспутству.