Несмотря на холодность в отношениях с императрицей, милости Бестужеву время от времени продолжали ещё перепадать. Так, например, в конце 1763 года ему по иронии судьбы был пожалован голштинский орден Св. Анны 1-й степени — вероятно за то, что голштинская партия при русском дворе всегда его ненавидела, а он отвечал ей взаимностью.
В 1764 году, при реформе Сената и разделе его на департаменты, Алексея Петровича назначили в первый департамент, но ходить в присутствие дряхлый старик был уже не в силах, и его потихоньку уволили. Кажется, в это время новоиспечённый сенатор представил-таки Её императорскому величеству ещё одну записку, в которой предлагал заступиться за ущемлённого в чём-то Коммерц-коллегией голландского купца Рейнгольда. Соловьёв приводит следующий ответ императрицы, сохраняя её оригинальную орфографию и синтаксис:
В это время Алексей Петрович, озабоченный, очевидно, сохранением у потомков памяти о роде Бестужевых, направил своему дальнему родственнику Ивану Дмитриевичу Бестужеву-Рюмину
В 1765 году при содействии сенатора Бестужева в почётные члены Петербургской Академии наук был избран Вольтер. По всей видимости, ему при этом пришлось перешагнуть через себя, через свои франкофобские принципы, тем более что поклонником Вольтера он никогда не был. Но с Вольтером переписывалась сама «мать отечества», так что старику нужно было проявить гибкость. Впрочем, когда встал вопрос о том, чтобы поручить Вольтеру написать историю Петра Великого, Бестужев воспротивился и сказал, что гораздо лучше эту работу поручить Петербургской Академии наук.
За два года до смерти Бестужев-Рюмин на свои деньги соорудил в Москве у Арбатских ворот храм во имя Святых Бориса и Глеба. Оказывал он также покровительство — вероятно, под влиянием супруги — лютеранской церкви Святых Петра и Павла в Петербурге. Несмотря на старость, он сохранял находчивость и остроумие и никогда не лез в карман за словом. Когда клир Казанского собора просил разрешения присоединить к себе находившийся по соседству храм Св. Петра и Павла, то для пущей убедительности священники стали уверять графа Алексея Петровича, что им явилась Богородица и плакала, жалуясь на оскорбительное для неё соседство лютеранской церкви. Бестужев приказал вернуться им за решением через три дня. Когда святые отцы появились у него снова, он безапелляционно заявил им, что к нему за эти три дня тоже явилась Богородица, которая передумала и присоединять протестантскую церковь Св. Петра и Павла к Казанскому собору больше не желала. Богородица, согласно рассказу Бестужева, обосновала своё последнее решение тем, что церковь была построена не по православному принципу — с востока на запад, а с севера на юг. Так он сохранил в целости и сохранности опекаемый им лютеранский храм.
Кончину свою Бестужев заранее увековечил медалью. Её лицевая сторона повторяла рисунок медали, изготовленной им в 1747 году, только на обратной стороне её был изображён катафалк между четырьмя пальмами, на нём — урна с гербом графов Бестужевых-Рюминых, по обеим сторонам аллегорические фигуры: слева — постоянство, опирающееся на колонну и венчающее урну лаврами, справа — вера с крестом в руке, возлагающая на урну пальмовую ветвь, а сверху надпись: tertio triumphat — третий одержал победу.
ОТЕЦ И СЫН
Последние годы Бестужева были омрачены его взаимоотношениями с сыном Андреем (? — 1768), который отличался на редкость взбалмошным и буйным нравом, усугублявшимся беспробудным пьянством. При этом Андрей Алексеевич оказался неспособным к какой-либо служебной деятельности, несмотря на то, что отец усиленно продвигал его по дипломатической и придворной линии, а Елизавета Петровна и Екатерина II жаловали его вниманием и чинами. Петербургское общество и высшие сановники воспринимали графа Андрея довольно критически. Между тем личность его сильно занимала всех, поскольку ему предстояло стать наследником всего богатства бывшего великого канцлера.