То, что придется уезжать, Пушкин понимал уже с конца весны. Понимала это и благоволившая к поэту Елизавета Ксаверьевна Воронцова, жена разлучника. Свет ее выразительных глаз все чаще обращался к влюбленному поэту. На прощанье графиня подарила Пушкину заветный перстень с надписью на древнееврейском языке. Все самые трогательные моменты их любви описаны в замечательных стихах. Впрочем, самой ужасной (или самой прекрасной) победы поэт, судя по всему, не одержал (Вера Федоровна Вяземская, опекавшая Пушкина до самого его отъезда, свидетельствует о серьезности его любви к Елизавете Ксаверьевне и чистоте их отношений). Может, именно поэтому переписка их сохранила жар чувства, а прелестная, любимая всем нашим народом героиня пушкинского романа Татьяна Ларина по праву сияет в ореоле супружеской верности.
После отъезда из Одессы дружеская переписка Пушкина с Александром Раевским еще продолжалась некоторое время. Первое письмо Раевского было ободряющим: «…не унывайте, помните о Вашей обязанности к самому себе, к своей стране и не забывайте, что Вы украшение нашей нарождающейся литературы». Раевский передавал Пушкину привет от графини Воронцовой, на что ссыльный отвечал своему сопернику вполне бодро: «Так как страсть моя очень уменьшилась и я опять влюблен в другую, я размышляю много по этому поводу».
А вскоре у обоих друзей возникли и новые поводы для размышлений и волнений. Грянули декабрьские события 1825 года. Мужья обеих дочерей героя Отечественний войны Н.Н. Раевского Старшего, князья М. Волконский и М. Орлов, участвовали в декабрьском восстании и были наказаны: Орлов высылкой под надзор полиции в Калужскую губернию, а Волконский – в Сибирь на каторгу. Княгиня Мария Волконская решила отправиться вслед за мужем, и брат Александр, несмотря на все свои усилия, не смог ее отговорить. Были арестованы и оба брата Раевские, и Пушкин в письме Николаю Раевскому Младшему справлялся о здоровье Александра: «Он болен ногами, сырость казематов будет для него смертельна. Узнай, где он, и успокой меня».
Следствие, впрочем, показало, что ни один из братьев Раевских не входил в тайное общество, о чем Александру Николаевичу был выдан «очистительный» документ, и он смог вернуться в Одессу. Тут-то граф Воронцов и обнаружил, что даже в отсутствие смутьяна Пушкина, который на счастье для поэта оказался вдали от опасных событий, одесский дом графа остается осажденной крепостью, ибо на самом деле у его пленительной супруги был не один пылкий поклонник, а по меньшей мере два, и притом второй преуспел больше первого. Раевский не отрывался теперь от предмета своей страсти, ездил с графской семьей в поместье под Белую Церковь и вообще, похоже, настолько преуспел в реализации своих планов, что Елизавета Ксаверьевна родила дочку Софью, которую граф упрямо выделял из семьи. Настроение в доме стало таким тяжким, что графиня стала избегать Раевского, но тот упорствовал, и вот однажды, во время визита царской семьи в Одессу, Раевский остановил карету, в которой ехала графиня, и при свидетелях наговорил ей дерзостей. Таковы, по крайней мере, были слухи. Пушкин вспоминал об этом скандале в разговоре много лет спустя, перед своей роковой дуэлью, но даже знаменитый пушкинист Гершензон вынужден ссылаться лишь на слухи: «Современная молва гласила, что Александр Николаевич Раевский с хлыстом в руке остановил на улице карету графини Воронцовой <…> и наговорил ей дерзостей». То ли страсть лишила его осторожности, то ли былая привычка к экстравагантным поступкам, будоражащим общество, взяла верх над осторожностью, но передавали, что он даже крикнул графине напоследок: «Позаботьтесь о нашей дочери» (даже «о наших детях»). Так или иначе, граф Воронцов был в ярости и совершил в спешке необдуманный поступок: заявил жалобу полицмейстеру, будто он был не наместник, а простой смертный. Спрошенный о его действиях полицией отставной полковник Раевский отписал с великолепной надменностью: «На сие имею честь Вам ответить, что я ничего дурного не мог сказать Ее Сиятельству и не понимаю, что может дать повод такой небылице. Мне весьма прискорбно, что граф Воронцов вмешивает полицию в семейные свои дела и через это дает им столь неприятную известность. Я покажу более чувства приличия не распространяясь о таком предмете». Этим ответом, ставшим достоянием публики, Раевский нанес новое оскорбление графу, оповестив целый мир о своей любовной победе и унижении соперника. Таким образом граф оказался обесчещен дважды. Конечно, он не оставил дерзость без ответа и, испытав новое унижение, добился ссылки Александра Раевского в провинциальную Полтаву под надзор полиции.
Сильно огорченный невзгодами сына старый его отец все же писал дочери из имения не без гордости: «Граф Воронцов потерял в публике жену, себя безвозвратно: все в Одессе знают всю истину».