Переписка Армфельда обнаруживает, что он с самого начала испытывал нелюбовь к России и ненависть к русскому госсекретарю. Он писал о Сперанском: «Странная личность, которая иногда возвышает нас, а подчас дает нам чувствовать нашу зависимость. К тому же он всегда считает пустяками то, что касается Финляндии». И еще: «Сперанский имеет громадную власть; он удивительно умен и хитер, но так же самолюбив, как и невежествен; жаждущий того, что дает только внешний вид счастья, он не способен постигнуть того блага, которое ведет к спокойствию души. Он боится быть понятым и потому надевает на себя тысячу масок: иногда он гражданин и хороший подданный, иногда ярый фрондер, употребляющий все усилия, чтобы убедить публику в своих талантах, и не обнаруживающий своих сил…»
Как ближайший советник императора Александра, умный человек и знаток своего дела, Сперанский мешал Армфельду проворачивать свои делишки, и в этом таилась главная подоплека ненависти к нему со стороны шведского барона. На почве данной ненависти с Армфельдом быстро сошелся давний враг Сперанского барон Густав Розенкампф.
К этому дуэту присоединился министр полиции Александр Дмитриевич Балашов. В марте 1808 года он был назначен санкт-петербургским обер-полицмейстером, через два месяца стал в дополнение к основной своей должности исполнять в столице обязанности военного губернатора. 1 января 1810 года сорокалетний генерал-лейтенант Балашов был назначен, по представлению Сперанского, членом Государственного совета. 25 июля того же года он был поставлен во главе Министерства полиции, учрежденного на основании Манифеста «О разделении государственных дел на особые управления…». В то время Михайло Михайлович не знал, кого он возвысил. Свои отрицательные свойства Балашов проявил в полной мере лишь после того, как стал руководителем Министерства полиции.
По словам В. П. Кочубея, Балашов превратил этот орган в «министерство шпионства». Город наполнился шпионами всех мастей — наемными шпионами, русскими и иностранцами, шпионами-друзьями, сплошь и рядом переодетыми полицейскими офицерами, причем в переодевании, как говорят, принимал участие и сам министр. Эти агенты не ограничивались тем, что стремились узнавать новости и давать возможность правительству
Направлявшаяся умелой рукой, разработанная до мельчайших подробностей интрига против Сперанского строилась с учетом особенностей характера императора. Сколько бы ни говаривал Александр в молодые свои годы о желании ограничить самодержавную власть, а то и вообще отказаться от нее, удалившись из России в тихую жизнь частного европейского обывателя, не мог он заставить свое окружение поверить в серьезность подобных высказываний. Слишком неправдоподобным казалось, что кто-то в человечестве, которого всю историю должно обозначить одним выражением «борьба за власть», может вдруг отказаться от абсолютной власти, самим небом ему посылаемой. Да и вполне было заметно в характере Александра нечто такое, что никогда, ни в коем разе не могло позволить ему исполнить это странное желание.
Этим «нечто» было в первую очередь его огромное самолюбие, с которым он как будто даже родился. Один из русских воспитателей великого князя Александра оставил свои записки, где под датой «апрель 1792» приводится любопытное наблюдение: «Замечается в его высочестве лишнее самолюбие, а оттого упорство во мнениях своих, и что он во всем будто уверит и переуверит человека, как захочет. Из сего открывается некоторая хитрость, ибо в затмевании истины и в желании быть всегда правым неминуемо нужно приступать к подлогам».
К самолюбию прибавлялась в Александре чрезвычайная боязнь насмешки над собой. Уже после того, как он стал императором, часто бывало так, что если кто-либо засмеется в его присутствии или улыбнется, на него посматривая (просто так, без всякой «задней» мысли), Александр тут же начинал думать, что это над ним смеются, и как-то непроизвольно старался оглядеть себя, подходил для этого даже к зеркалу и до тех пор не успокаивался, пока не осматривал всего себя и спереди и сзади. При том характере, каковой имел российский самодержец, достаточно было хорошо показать ему, что кто-то из его приближенных насмехается над ним и в душе его презирает, чтобы навлечь на этого человека его гнев и незамедлительную кару. В случае со Сперанским данная задача была выполнена блестяще.