В Павловске в августе 1799 года трёхмесячный ребенок был доставлен к бабушке, которая затем отнесла его в кабинет к Императору. Когда она вышла, то Павел Петрович находился в состоянии сильного возбуждения, что перепугало даже Ивана Кутайсова. Император приказал немедленно призвать вице-канцлера графа Ф. В. Ростопчина (1763–1826), и «Иван», исполняя приказание, сказал Ростопчину: «Боже мой, зачем эта несчастная женщина (Мария Фёдоровна. — А. Б.) пришла расстраивать его своими сплетнями!» Сплетни были слишком серьезными, чтобы на них не реагировать. Как передает графиня В. Н. Головина, Ростопчин услышал следующий монолог Самодержца: «Идите, сударь, и напишите как можно скорее приказ о ссылке Чарторыйского в Сибирский полк. Моя жена сейчас вызвала у меня сомнения относительно мнимого ребёнка моего сына. Толстой знает это так же, как и она». Ссылка на то, что гофмаршал граф Н. А. Толстой (1765–1816) «знает», свидетельствовала о том, что при Дворе уже все осведомлены.
Ростопчину удалось убедить Государя, что столь резкое и открытое изгнание князя в дислоцированный в Сибири полк станет публичным признанием скандала. Потому лучше отправить Чарторыйского менее эпатажно в тихую и пристойную ссылку. Ход был найден: Чарторыйский получал назначение представителя при Сардинском Короле. Он должен был в течение нескольких дней покинуть Петербург и отбыть в Турин, где в то время пребывал Сардинский Король.
Известие потрясло не только Чарторыйского, но и Великого князя Александра Павловича, который тем не менее не счёл возможным вступиться за своего друга.
Как написал князь Чарторыйский в своих «Записках»: «Это неожиданное назначение, которое застало меня совершенно врасплох, сильно меня огорчило. Естественно, мне было особенно тяжело расставаться, быть может на долгое время, с Великим князем, к которому я был искренне привязан, и с теми немногими друзьями, дружба с которыми была для меня большим утешением на чужбине». Ничего больше князь не написал, «грязную сплетню» не опровергал, а имя Елизаветы Алексеевны вообще обошел стороной. Одним словом: «джентльмен»…
Порочащие Елизавету слухи, как казалось, совершенно не затрагивали и не интересовали только одного человека — Александра Павловича. Граф Головкин и через годы с удивлением писал, что «Великий князь в этом случае проявлял удивительное и крайне неуместное равнодушие». Кстати сказать, когда Мария скончалась 27 июля 1800 года, Александр явил всё то же равнодушие.
Павел Петрович же был не из разряда людей, способных делать вид, что ничего не происходит, когда на самом деле что-то случалось. Поведение Елизаветы его лично оскорбило; он ей так доверял, так был нежен и снисходителен, а получил в «подарок» нехорошую историю. После принятия решения о высылке Чарторыйского Император Павел отправился в апартаменты Елизаветы Алексеевны, подвёл её к окну и стал на неё в упор смотреть. Он так делал часто, когда хотел добиться правды от своего визави. Невестка отвела глаза, но ничего не сказала и ни в чём не повинилась. Павел Петрович понял, что подозрения не беспочвенны, и прекратил всякое общение с Елизаветой.
Елизавета же вела себя так, как будто ничего не происходило. Она разорвала всякие общения с В. Н. Головиной, с которой ранее была неразлучна, подозревая графиню в низкой интриге: она ведь была против князя Чарторыйского, а следовательно, могла порассказать о нем нечто. У графини было много недостатков, она всегда отличалась резкой нетерпимостью, но в данном случае Головина была совершенно ни при чём. При этом Елизавета начала демонстративно пренебрегать правилами придворного этикета, за соблюдением которого зорко следила Императрица Мария Фёдоровна. Приходила не тогда, когда требовалось, уходила без разрешения, одевалась не так, как подобало, и т. д. Это был вызов установленному регламенту. Император не мог оставить такое поведение без последствий: к дверям комнат Елизаветы был поставлен часовой, чтобы она не смела отлучаться без разрешения и не могла принимать кого вздумается. Страж стоял на своём посту несколько месяцев.
К мужу Александру Елизавета относилась с холодной учтивостью, никак не стараясь сломать стену отчуждения между ними, к чему её постоянно призывала в письмах мать — маркграфиня Баденская Амалия (1754–1832). Нежность к мужу у неё проснётся через десятилетия: она будет находиться рядом и переживать за него в последние дни жизни Александра I в Таганроге.
До этого всё было неизменно; у неё своя жизнь, у него своя. Александр был «так учтив», что рассказывал ей перипетии своих отношений с единственной в его жизни возлюбленной — красивой полькой Марией Антоновной Нарышкиной, урождённой княжной Святополк-Четвертинской (1779–1854). Об этой связи Императора тогда знал не только её законный супруг Дмитрий Львович Нарышкин (1758–1838), но и, что называется, весь Петербург.