Бракосочетание Елизаветы Сперанской с Фроловым-Багреевым состоялось 16 августа 1822 года. Побыв около полутора месяцев в Петербурге, молодожены отправились в Чернигов. Чувство радости, которым последние полгода был охвачен Сперанский, куда-то ушло — вместо него в душе возобладала горесть разлуки. «Письмо ваше из Томска, — писал он генерал-губернатору Капцевичу, — дошло до меня в то самое время, как я занят был горестною, хотя и предвиденною разлукою с моею дочерью. Не дорожу жертвами для ее счастия, но нужно время, чтоб снова привыкнуть к одиночеству».
Впоследствии в Петербурге ходили слухи, что Елизавета пошла за Кочубеева племянника не по любви, что будто бы это отец принудил ее идти за него. Сама же она влюблена была якобы в другого и наотрез отказывалась выходить замуж за Александра Фролова-Багреева. Михаил о Михайлович, по слухам, для того, чтобы добиться от дочери согласия на этот брак, сажал ее в чулан на хлеб и воду. Слухам этим верили, причем вполне серьезные люди, что не удивительно. О Сперанском ходило столько разных небылиц и сплетен, сам он представлял настолько сложную, многогранную натуру, что современники его просто не могли не утратить в конце концов способности отличать в нем реальные черты от придуманных клеветниками. К тому же мало кто тогда умел так искусно прятать от посторонних подлинные свои чувства, как он. О том же, сколь трепетно относился Сперанский к своей дочери, знали немногие.
Несмотря на то что судьба дочери устроилась, Михайло Михайлович продолжал появляться в светском обществе — только теперь один.
Пошел слух, что меня более не увидят в обществе; что, не имея в нем более нужды, я брошу все приязни и знакомства. Не отгадали, ибо гадали в дурную сторону; хотя и не без тягости, но я являюсь везде, где бывал с тобою. Отстану, но не вдруг, а постепенно.
В первое время после того, как его дочь вышла замуж, Сперанский испытывал двойственное чувство: да, конечно, счастье любимого существа устроилось, чего еще желать, и он, безусловно, был доволен, но все же — у дочери теперь муж и своя обособленная жизнь. Нотки ревности невольно звучали в его довольстве и… письмах.
Стихи твои действительно прекрасны. Самое чувство пером твоим водило. Последняя строфа особенно прекрасна нравственным ее отливом. Я знаю ее наизусть; но скажи мне: много ли есть на свете дур, которые влюблены в своих мужей и пишут им стихи? Не знаю, много ли, но желал бы, чтоб они все тебе были подобны; тогда дуры были бы любезнейшие и счастливейшие на свете создания.
16 августа 1823 года Сперанский писал дочери: «Неужели прошел год с того времени, как любезная моя Елисавета замужем: время есть большой чародей — то выше леса, то ниже травы; иногда очень длинно, иногда чрезвычайно коротко».
11 февраля 1824 года Елизавета Фролова-Багреева родила «после 2-дневного страдания» сына, которого назвала — в честь отца — Михаилом [10]. Сперанский помчался в Чернигов к внуку.
Возвратившись в столицу, Михайло Михайлович обратился к императору Александру с просьбой о переводе зятя на службу в Санкт-Петербург. «Одиночество мое здесь, — жаловался он государю, — болезненные припадки, с летами возрастающие и впереди мрачным уединением мне грозящие, — наконец прещение совести частыми отлучками прерывает ход службы и бремянит внимание Вашего Величества частыми отпусками для свиданий с дочерью, в коей одной заключается все мое семейственное благо, все сии причины, строгому долгу службы посторонние, но чувству милосердия, чувству сердца Вашего внятные, дерзаю представить в ходатайство и оправдание».