В 1823 и 1824 годах любовные стансы продолжали течь из-под пера юного пиита, если верить рассказам нескольких ричмондских дам. Большая их часть адресовалась очаровательным питомицам благородного пансиона, который содержала мисс Джейн Макензи, сестра миссис Макензи, в чьей семье воспитывалась Розали. Между Эдгаром и прекрасными пленницами, томившимися в заточении за стенами заведения мисс Макензи, завязалась тайная переписка. Вместе с записками Эдгар часто посылал сласти и «оригинальные поэтические сочинения». Он имел обыкновение делать карандашные наброски приглянувшихся ему девиц и прикреплять к портретам полученные в награду за преданность локоны. Маленькая Розалн, которая была в ту пору «чудным ласковым ребенком с синими глазами и розовыми щечками», верно служила им вестницей любви до тех пор, пока негодующая мисс Джейн и вооруженная шлепанцем миссис Макензи самым грубым образом не положили конец ее романтическим хлопотам.
Розали обожала брата и часто виделась с ним в церкви и у себя дома, где он часто бывал в гостях у лучшего своего приятеля Джека Макензи. Она повсюду сопровождала двух друзей и старалась принимать участие во всех их затеях. Позднее ее привычка следовать за Эдгаром стала доставлять ему неудобство из-за отклонений в умственном развитии девочки или, точнее, полного его прекращения в возрасте двенадцати лет. До этого она развивалась совершенно нормально, и ничто не предвещало несчастья, причиной которого была, вероятно, дурная наследственность. В результате сестра Эдгара По, достигнув полной физической зрелости, в мыслях и чувствах навсегда осталась двенадцатилетней девочкой.
Среди многочисленных, хотя и весьма отрывочных, а зачастую и недостоверных сообщений современников о жизни По в этот период наибольшего интереса заслуживают воспоминания полковника Томаса Эллиса, сына Чарльза Эллиса, который в юности был в очень добрых отношениях с По и его семьей и пишет, в частности, следующее: «Эдгар был очень красив и в то же время обладал храбростью и мужеством, удивительными в столь молодом человеке. Среди своих друзей он поистине первенствовал во всем. Он в совершенстве владел искусством светского обращения, и в городе не было более умного, изящного и привлекательного юноши, чем Эдгар Аллан По». О том, что в это время происходило в доме Джона Аллана, рассказывает — правда, в тонах, гораздо менее восторженных, — Джек Макензи: «Мистер Аллан был по-своему хорошим человеком, однако Эдгар его не любил. Аллан был резок, придирчив и со своим длинным крючковатым носом и маленькими пронзительными глазками, смотревшими из-под кустистых бровей, всегда напоминал мне ястреба. Мне известно, что, гневаясь на Эдгара, он часто угрожал выгнать его из дому и никогда не позволял ему забывать о том, что он всецело зависит от милости своего благодетеля». Алланам очень нравилось принимать у себя гостей, и на этих вечеринках и чаепитиях бывал и Эдгар, обычно с кем-нибудь из друзей. Иногда ему разрешали устраивать собственные вечера, на которые приглашали и девочек и мальчиков. Несмотря на обаяние Фрэнсио и добродушную веселость «тетушки Нэнси», на таких приемах царил чопорный этикет, ибо Джон Аллан явно стремился привить Эдгару нарочито «благородные» манеры, предписанные тогдашним хорошим тоном, но соответствовавшие скорее воспитанию и склонностям самого Аллана, нежели обычаям высшего виргинского общества.
Впрочем, все эти церемонии, какими бы важными ни казались они мистеру Аллану, наверное, не слишком занимали Эдгара в ту пору. Свое время он делил между мечтаниями, сочинительством и беззаботными мальчишескими развлечениями. Он любил тайком убегать с приятелями на реку, к большой заводи чуть пониже водопадов, где они обычно купались и удили рыбу. Такая вольная жизнь была ему очень по нраву. Здесь же, на реке Джеймс, он совершил и «великий подвиг», который еще в юные годы окружил его имя байроническим ореолом. По весьма гордился своим атлетическим достижением и уже в 1835 году писал редактору журнала «Сазерн литерери мессенджер» по поводу какого-то упоминания этого случая, вошедшего в Ричмонде в предание: «Автор сравнивает мой заплыв с тем, который совершил лорд Байрон, хотя никаких сравнении между ними быть не может. Любой пловец из тех, что бывали тогда „у водопадов“, переплыл бы Геллеспонт и не почел бы это за большой подвиг. Я проплыл шесть миль от пристани в Ладлоу до Уорвика под жарким июньским солнцем, двигаясь против течения — едва ли не самого сильного, какое помнят на этой реке. Проплыть же двадцать миль в спокойной воде было бы сравнительно легко. Я не задумываясь решился бы переплыть Дуврский пролив от Дувра до Кале».