Воспитатель великого князя Павла Петровича С.А. Порошин в своих «Записках» писал:
Как бы то ни было, Никита Иванович, вероятно, в уважение своего бывшего начальника, иногда принимал у себя его непутёвого сына, что отмечает Порошин в «Записках» за 7 декабря 1764 года:
О воспитании Андрея Алексеевича сведений не сохранилось, известно только, что он был баловнем матери графини Анны Ивановны, и что он с малых лет доставлял родителям много хлопот. Пристрастие к вину, по предположениям современников, он унаследовал от отца, что весьма сомнительно. Алексей Петрович пил, но не спивался и дело разумел куда лучше непьющих. В доме, где пьют, не обязательно, чтобы дети вырастали пьяницами. А вот некоторые черты характера отца к графу Андрею перешли — правда, в довольно гипертрофированном виде: склочность, высокомерие, склонность к розыгрышу, вспыльчивость.
Как бы то ни было, Бестужев, став канцлером, ещё в 1744 году стал проявлять заботу о служебной карьере сына. Он помог ему в том же году стать камер-юнкером при дворе великой княгини Екатерины, а потом послал его к брату Михаилу Петровичу, который был полномочным министром при дворе короля Польши и курфюрста Саксонии Августа III. Андрей Алексеевич, послужив два года «дворянином» при русской миссии в Саксонии, стал в 1746 году камергером.
Казалось, что впереди его ожидали завидное будущее и счастливая жизнь. Но всё сложилось как нельзя хуже, и виной тому стали дурной характер и дурные наклонности молодого графа. Во-первых, не складывалась у него личная жизнь. Алексей Петрович пытался упрочить положение сына блестящей женитьбой на юной Авдотье Даниловне Разумовской, племяннице обер-егермейстера императорского двора А.Г. Разумовского. Однако заключённый Андреем Алексеевичем 22 февраля (по другим данным, 5 мая) 1747 года брак с ней длился всего 2 года и способствовал скорее упрочению положения самого канцлера. Саксонский резидент Петцольд в своей депеше в Дрезден сообщал: