Маркграфиня хотела бы разбудить в своем зяте честолюбие и заставить его воспользоваться уроками, которые давал тогда миру этот могущественный гений. Она хотела бы, чтобы Александр, не ссорясь с ним, сделался бы уже с этих пор соперником Наполеона и чтобы его действия как правителя были бы, как и действия первого консула, постоянными доказательствами величия, силы, воли и решимости. Русские, говорила она, нуждались в этом так же, как и французы. Я постарался передать императору эти разговоры ввиду того, что высказанные в них правильные и справедливые взгляды могли оказать на него известное полезное влияние. Но подобные советы не производили на Александра никакого действия. Он восхищался Наполеоном, но не считал себя способным следовать ему как образцу. У них были две противоположные натуры; поэтому и пути их были различны. Только много лет спустя, величайшая опасность, угрожавшая России, безграничное честолюбие властелина Франции и его невероятные ошибки доставили Александру случай обнаружить свои недюжинные достоинства, и все-таки его действия всегда носили характер оборонительный, хотя тем не менее и доставили ему победу над соперником.
Семья герцога Баденского, прогостив несколько месяцев в Петербурге, уехала в Стокгольм навестить шведскую королеву, младшую сестру императрицы Елизаветы. Во время этого путешествия их постигло большое горе. В дороге умер маркграф, благодаря несчастному случаю с экипажем. Несчастье это лишило маркграфиню возможности править в великом герцогстве и имело гибельные последствия для этой благородной семьи.
Летом 1801 года неофициальный комитет продолжал собираться. До отъезда государя в Москву на коронацию единственным результатом этих совещаний было удаление графа Палена. Император чрезвычайно желал от него избавиться. Он стеснял государя, был ему противен и подозрителен. После удаления Палена очередь была за Паниным. Император колебался лишь относительно времени и формы его удаления. Вопрос долго обсуждался; наконец, решили Палена удалить и на его место назначить графа Кочубея. На этот раз император сдержал свое слово, так как выбор этот был ему приятен и, кроме того, оправдывался прошлым Кочубея. Было предположено временно оставить Панина в Петербурге. Император, желавший избежать неприятных объяснений с Паниным, до последней минуты не показывал даже вида о принятом по отношению к нему решении. Те, кто рад был найти за Александром хотя какую-нибудь погрешность, по этому поводу вновь обвинили его в двуличии. Граф Панин подчинился монаршей воле, сообщенной ему письменно, и Кочубей вступил в должность, к большому удовольствию императора и всего нашего комитета.
Все время, пока Панин оставался в Петербурге, он был окружен шпионами, не выпускавшими его из вида; по несколько раз в день император получал отчеты секретной полиции, с подробными донесениями о всем, что делал Панин с утра и до вечера, где он был, с кем останавливался на улице, сколько часов провел в том или другом доме, кто посещал его. Насколько было возможно, передавались даже и все сказанные им слова. Отчеты эти, читавшиеся в неофициальном комитете, были составлены на таинственном языке секретной полиции, которым агенты ее так прекрасно пользуются для того, чтобы казаться всегда необходимыми и придавать интерес даже самым незначительным своим донесениям. В сущности, в этих донесениях не было решительно ничего особенного, но императора чрезвычайно беспокоило и мучило присутствие в столице графа Панина. Император всегда ожидал с его стороны заговора и успокоился только тогда, когда Панин уехал из Петербурга. Постоянно преследуемый шпионами, ходившими за ним по пятам, и предупрежденный о впечатлении, которое он производил на императора, граф Панин сам решил удалиться из столицы. Вскоре за тем он получил строгий приказ никогда не появляться в тех местах, где будет находиться император. Приказ этот никогда не был отменен, и Панин уехал в Москву, затем в деревню, где и жил с тех пор в строгом уединении.
Таким образом, трое из «наших», как называл их император, оказались в сфере практических дел и на опыте познакомились с препятствиями и трудностями, с которыми приходится иметь дело, лишь только соприкоснешься с правительственным механизмом и попадешь в число его колес. Я остался единственным членом неофициального комитета, не приставленным ни к какому реальному делу. Это доставляло мне большое удовольствие. Честолюбие русского человека было мне чуждо. Я чувствовал себя экзотическим растением, лишь случайно пересаженным на постороннюю почву, и в моих душевных переживаниях всегда было нечто такое, что не могло вполне совпадать с наиболее задушевными помыслами людей, которые стали моими друзьями в силу неожиданных и совершенно исключительных обстоятельств. Меня часто тяготило и утомляло мое положение, я тосковал по родине, по родным. Меня преследовало весьма естественное желание вновь очутиться в их кругу и вернуть себе это счастье, в котором я нуждался сильнее, чем когда-либо.