Но Михайло Михайлович не мог уже остановиться в поисках благорасположения к своей персоне со стороны высшего света. Некогда гордый отшельник, он искал близкого знакомства и заискивал даже у тех, которые ни в чем не могли быть ему полезны. Так, приехав однажды в Павловск, он поспешил нанести визит госпоже Нелидовой, несмотря на то, что она была всего лишь одной из приятельниц императрицы Марии Федоровны и никакого влияния при дворе не имела да и не стремилась особенно иметь. Узнав, что в ее дом заявился Сперанский, она очень изумилась и даже спросила его, не по ошибке ли он к ней попал. Михайло Михайлович отвечал, что не по ошибке, и с этих пор сделался постоянным посетителем ее дома.
Знавшие Сперанского до его ссылки не могли сдержать удивления. Недругам же своим дал он собственным поведением хорошую почву для злословия. Многие годы спустя близким к нему людям придется защищать его от обвинений в карьеризме. «Его все считают честолюбивым человеком, — будет говорить о Сперанском Г. С. Батеньков, — между тем в нем не было и тени честолюбия. Это мнение основано на его жизни по возвращении из ссылки. Но забывают, что эта ссылка продолжалась и в Петербурге, что ему нельзя уже было здесь действовать, — у него по-прежнему были скованы руки, а потребность действовать страшная, — и, разумеется, он принужден был делать уступки. За убеждения свои он готов был идти и в ссылку, в каторжную работу, и на плаху. Он ничего не боялся, и ежели вы видите в нем потом совсем другого человека, то это не потому, что он действовал из страха, а потому, что видел, что не может действовать, не сделав уступок. Врагов у него было много. Я помню, раз у меня с ним зашел разговор о возможности ссылки. "Ну что же, наденут колодки и поведут, — сказал он. — Что за важная вещь, колодки, да они всего стоят два с полтиной, — чего же их бояться?"»
Частые выезды Сперанского в свет, удивлявшие тех, кто знал, каким отшельником был он прежде, имели разгадку в его дочери. Чувство к ней с самого начала должно было принять в нем совершенно особый характер. Нерастраченную любовь к жене, горечь утраты, постоянное о ней воспоминание — все это вмещала в себя любовь его к дочери. Прошли годы — Елизавета Сперанская, восприявшая не только имя, но и привлекательный облик своей, навечно оставшейся юной, матери, развилась духовно так, что оказалась способной взять на себя роль поверенного в самых заветных думах своего отца. В годину выпавших на его долю жестоких испытаний Елизавета смогла стать ему настоящим другом, в каковом он нуждался тогда безмерно. Письма Сперанского к дочери, написанные в данную пору, выделяются из всей его переписки своей содержательностью, глубиной мысли и проникновенностью души. Подобные письма пишут обыкновенно лишь в том случае, когда рассчитывают на понимание и сочувствие.
Мне кажется, любезная Елисавета, для того и послан я в Иркутск, чтоб перепискою с тобою возобновить курс словесности и нравственных произведений. В такой дали все оттенки общежития, кои обыкновенно составляют предмет писем, теряются и исчезают. Остается рассуждать, когда невозможно чувствовать вслух. Последнее письмо твое принесло мне твои мысли о любви к отечеству. Право прекрасные! Особливо начало, почти важное и классическое.