Елизавета Сперанская приехала в Пензу вместе с Марией Карловной Вейкардт 22 июля 1817 года и оставалась здесь до конца сентября 1818 года. Она отпраздновала с отцом в этом городе восемнадцатый и девятнадцатый дни своего рождения. Пензенский губернатор более года являлся одновременно и преподавателем, занимаясь со своей дочерью различными науками в присущей ему свободной манере. По возвращении в Санкт-Петербург Елизавета Сперанская рассказала графу Кочубею и его супруге Марии Васильевне об отце и своей пензенской жизни, а также о том, что узнала за прошедший год. 18 октября 1818 года Виктор Павлович писал Михаиле Михайловичу в Пензу о своих впечатлениях после общения с его дочерью: «Признаюсь вам, что образование ее немало меня удивило. Мне представлялось вещью невозможною в Перми и Пензе иметь средства к воспитанию. Г[осподин] Цейер просветил меня, изъясняя, что занимались оным вы исключительно».
Елизавета была в Пензе, когда в начале августа 1817 года в гости к ее отцу приехал М. Л. Магницкий. 14 июня он был назначен на должность гражданского губернатора в Симбирск и, после того как в конце июля сдал дела новому воронежскому губернатору, решил заехать к своему старшему другу и сослуживцу, с которым в один и тот же день был изгнан из столицы и с государственной службы, затем — также в один день — возвращен из ссылки и на службу. 12 сентября 1817 года Михаил Леонтьевич писал из Симбирска Сперанскому: «Я так привык любить вас, что не могу быть покоен, как скоро хоть пылинка лежит на дружбе нашей. Благодаря Богу мы ее сняли. Пребывание мое в Пензе будет для меня незабвенно».
Сперанский не мог не казаться жителям Пензы человеком диковинной натуры. Обходительный в обращении со всеми, в том числе и с простыми людьми, не позволявший себе злоупотреблений, обыкновенных для российского губернатора и потому привычных для населения, он отличался от всех своих предшественников на посту пензенского губернатора.
Князь Григорий Сергеевич Голицын, у которого Сперанский принимал дела по управлению Пензенской губернией, порезвился на губернаторской должности всласть. Если кто-то говорил, к примеру, что вся Пенза плясала под его дудку, то он был прав вдвойне, поскольку это происходило не только в переносном смысле, но и в самом что ни на есть буквальном. Губернатор Голицын имел страсть к карнавалам и часто заставлял пензенцев наряжаться и плясать, причем не смущался выделывать это даже в тяжелейшие для России дни Отечественной войны.
Следует заметить, что поначалу к Сперанскому относились в Пензе с большой настороженностью: в провинциях все еще носился слух о его измене и разных противных интересам дворянства делах. Но спустя некоторое время настороженность исчезла — новый губернатор очаровал всех.
В немалой степени способствовали этому званые обеды, на которых Михайло Михайлович стал регулярно бывать с первых дней своего пребывания на посту пензенского губернатора, «Вот другая неделя, как я здесь, — сообщал он из Пензы дочери Елизавете 31 октября 1816 года, — и каждый день на званом обеде, где редко бывает менее 50-ти человек. Знакомлюся, стараюся нравиться и, кажется, успеваю…». По-настоящему прочное в человеке никакие удары судьбы из его натуры не вышибут. К пятому десятку лет подбирался Сперанский, а все старался, все любил нравиться…
Жажда плодотворной деятельности никогда не покидала Сперанского, он томился только от рутинной, чиновничьей работы, не ведающей результата. Потому глубоко расстраивался он всякий раз, когда убеждался в тщетности каких-либо попыток переменить положение дел, с которым сталкивался на государственной службе и которое виделось ему пагубным.
Собираюсь и никак не могу вырваться в губернию. Откуда берутся дела? Откуда? От собственного нашего самолюбия. Сколько ни твердил себе, вступая в управление, чтоб не управ-лять, но низать дела, как нижут бусы, демон самолюбия не попущает следовать сему правилу: все хочется делать как можно лучше и следовательно делать самому; а работать должно на гнилом и скрипучем станке. Какой же может быть успех? Успех мгновенный, цель почти ничтожная. Не пустое ли это самолюбие?