В расписке, составленной 2 сентября пред полуднем, о получении отцовского письма граф Андрей пишет, что разделом имущества доволен и выражает отцу благодарность.
После обручения с княжной Долгорукой, которое 5 июня 1765 года императрица на очередном куртаге свершила лично, 19 октября 1765 года состоялась свадьба. Но уже через год супруги развелись: граф Андрей обращался с ней грубо и жестоко, и после развода Анна Петровна удалилась к своим родителям.
Порошин в своих записках за декабрь 1765 года отмечает:
Разгневанный Алексей Петрович распорядился на сей раз круто: он попросил императрицу лишить сына чинов и орденов и сослать его в Свирский Александровский монастырь. Сначала императрица не сочла проступки Андрея Бестужева слишком тяжёлыми, чтобы помещать его в монастырь, но потом вняла просьбам отца, и граф Андрей Алексеевич всё-таки очутился в монастыре. Письмом от 31 января 1766 года Екатерина просила митрополита Новгородского Дмитрия Сеченова
Андрей Алексеевич просидел в монастыре до мая 1766 года, а потом был освобождён с предписанием жить
Умер граф Андрей в 1768 году бездетным в Ревеле. С ним прекратился род Бестужевых-Рюминых, потому что и у его дяди, Михаила Петровича, детей не было. Как писал историк Бюшинг,
Об обстоятельствах смерти самого великого канцлера или о его похоронах никто из современников воспоминаний не оставил. По всей видимости, он скончался тихо в своём доме и тихо, по-домашнему, был предан земле.
М.М. Щербатов писал о том, как несправедливо Екатерина II обошлась со своим другом, оказавшим ей в своё время бесценные услуги:
ЛИЧНОСТЬ БЕСТУЖЕВА-РЮМИНА