Лопиталь обманулся в своих предсказаниях, как и многие другие пророки из Европы. Бестужев, несомненно, был значительной фигурой у руля страны, но Россия богата на таланты. И откуда ему было знать, что своенравную Елизавету скоро сменит деятельная и проницательная Екатерина Алексеевна, и что для России настанет своеобразный золотой век — правда, уже без Бестужева. Прогноз Лопиталя оказался верным всего на пару лет, когда престиж России на самом деле стал резко падать. Шуваловы, во внешних делах мальчики в коротких штанишках по сравнению с Бестужевым-Рюминым, по словам Валишевского,
Бестужева «ушли», но труды его на почве дипломатии и разведки не пропали втуне. М.Ю. Анисимов справедливо пишет, что накануне Семилетней войны российской дипломатии пришлось выдержать настоящее сражение с дипломатией Швеции, Франции, Пруссии и Турции, и сражение это было выиграно не в последнюю очередь благодаря умной, проницательной и последовательной политике её канцлера. Надежды Парижа и Берлина столкнуть Россию со Швецией и Турцией, несмотря на все интриги и козни, не оправдались. Практически Бестужев-Рюмин вынес это противостояние один, на своих плечах. Будучи хорошо информированным, он уверенно вёл свой корабль сквозь все невзгоды и трудности. Он выиграл это сражение без единого выстрела — одним только дипломатическим искусством. Россия вступила в войну, обеспечив себе фланги, укрепив свой авторитет в Европе и приобретя сильных союзников.
…Ссылку свою Бестужев, по свидетельству знавших его в эту пору людей, нёс с большим достоинством и твёрдостью духа. Пыляев пишет, что опальный граф жил в дымной избе, как простой мужик, носил лапти и простой овчинный тулуп. Позже ему позволили построить дом, который он назвал «Обителью печали». В Горетове он увлёкся богословием, собирая изречения из Священного Писания, в результате чего написал в 1763 году книгу «Избранныя из Св. Писания изречения в утешение всякого неповинно претерпевающего христианина». Под «неповинно претерпевающим христианином» он явно имел в виду прежде всего себя. Печатное издание книги предварялось предисловием ректора Московской Духовной академии Гавриила Петрова и дополнялось текстом оправдательного манифеста императрицы Екатерины. Книга была в том же году издана в Петербурге на французском языке и на немецком языке в Гамбурге, а в 1764 году — на шведском языке в Стокгольме.
Утешал себя Алексей Петрович и чеканкой медалей. В память о постигшей его беде 1758 года он отчеканил две медали со своим портретом и соответствующими надписями на фасе (
В Горетове 25 декабря 1761 года скончалась его супруга Анна Ивановна. (Двое сыновей, один из которых Пётр, упомянутый в 1742 году как совершеннолетний, умерли задолго до этого.) Пока великий канцлер ютился в крестьянской избе, в его роскошном дворце в Петербурге ежедневно заседала комиссия по похоронам преставившейся Елизаветы Петровны во главе с его заклятым врагом князем Н.Ю. Трубецким.
Восшествие на престол Петра III никакого облегчения ссыльному не принесло, и это было вполне понятно: любовницей у императора была племянница вице-канцлера Елизавета Романовна Воронцова (1739—1792), и Михаил Илларионович был у Петра III в большом фаворе. Да и прежде Пётр III относился к Бестужеву-Рюмину, мягко говоря, с большим недоверием. Он имел все основания говорить про Бестужева следующим образом: