В конце октября 1820 года Н. М. Лонгинов написал С. Р. Воронцову большое письмо. Он посылал его с оказией, поэтому писал обо всем наболевшем откровенно. Лонгинов как секретарь императрицы Елизаветы Алексеевны был, видимо, неплохо осведомлен о сокровенных мыслях Александра I: «Государь не любит и никогда, я думаю, не полюбит графа Михаила. Никогда человек, стоящий выше, не мог быть у него в фаворе, особенно человек твердый, мужественный и благородный в своих чувствах, неизменный в своих принципах, не способный ни к какому унижению, любимый солдатами, уважаемый публикой». Лонгинов был уверен, что при вступлении Михаила Семеновича в командование корпусом ему обязательно будут «чинить неприятности»2.
В декабре Михаил Семенович и Елизавета Ксаверьевна приехали в Лондон. Семен Романович, конечно же, познакомил сына с письмом Лонгинова. Тот не мог не согласиться с мнением автора, и ему еще меньше захотелось вступать в командование корпусом.
В мае 1821 года, во время пребывания в Англии, Елизавета Ксаверьевна родила дочь, которую назвали Александриной. В июле и лондонские, и российские Воронцовы присутствовали при коронации английского короля Георга IV. Тогда же знаменитый английский художник президент Британской королевской академии Томас Лоуренс написал портрет Михаила Семеновича и эскиз портрета Елизаветы Ксаверьевны.
В декабре 1821 года Воронцовы отправились из Англии в Париж. Из-за болезни Михаила Семеновича они задержались здесь до апреля следующего года. В Париже супруги позировали скульптору Дени Фуатье. Прекрасные мраморные бюсты Елизаветы Ксаверьевны и Михаила Семеновича и сегодня украшают Воронцовский дворец в Алупке.
В июне 1822 года супруги уже гостили у А. В. Браницкой в имении Александрия, затем уехали в Мошны. В том же месяце Михаил Семенович отправился в Петербург. Один. Елизавета Ксаверьевна была опять беременна. Вскоре она родила мальчика, названного Александром. К сожалению, он прожил всего один год.
В Петербурге, как и всегда, М. С. Воронцов принимал в своем доме на Малой Морской многочисленных друзей и знакомых и сам был для них желанным гостем. А однажды он даже получил приглашение от самого императора.
Михаила Семеновича очень интересовало все, что происходит на юге России, где он мечтал жить. Он узнал, что А. Д. Гурьев, служивший в русском оккупационном корпусе в его подчинении, стал градоначальником Одессы. А. Ф. Ланжерон ушел в отпуск и отправился в Европу лечиться. Вместо него генерал-губернатором Новороссии был временно назначен генерал И. Н. Инзов, главный попечитель и председатель Комитета о колонистах юга России. Вскоре Инзова назначили и временным наместником Бессарабии вместо ушедшего в отставку Бахметьева. Воронцов узнал также, что из Новороссии и особенно из Бессарабии в Петербург поступает много жалоб на местную власть.
Не в эти ли дни родилась у Михаила Семеновича мысль оставить армию, перейти на гражданскую службу и занять вакантную должность генерал-губернатора Новороссии? На такую мысль могли натолкнуть его и письма из Бессарабии от И. В. Сабанеева. В них Иван Васильевич всячески расхваливал жизнь на юге. Он писал Михаилу Семеновичу, что здесь можно с выгодой заняться выращиванием пшеницы. А вскоре сообщил, что поселился в Одессе, купив хутор с садом и колодцем.
Михаилу Семеновичу не сиделось на месте. Он уехал к теще в Александрию. А. В. Браницкая после разговоров с зятем написала в Петербург Н. М. Лонгинову и попросила купить ей мозаичный камин и двери красного дерева с позолоченными ручками из Михайловского замка. Эти вещи предназначались для нового дома, который собирался строить для себя Михаил Семенович. Приобретения обошлись в 5530 рублей. Михайловский замок, в котором жил и был убит Павел I, перешел в инженерное ведомство. Для перестройки его под учебное заведение требовались деньги. Их и решили собрать за счет продажи роскошных украшений замка.
Михаил Семенович продолжал уклоняться от службы. Император разрешил ему продлить отпуск еще на два месяца — для устройства личных дел. Воронцов побывал в Одессе, объехал южный берег Крыма. Съездил в Мошны, а затем в Белую Церковь — к жене, к детям, к теще. Вероятно, М. С. Воронцову служба в армии в мирное время казалась скучной.