По мнению Остермана, служители Коллегии должны быть «умными и в делах уже обученными, и вследствие малолюдства их принуждены будут работать день и ночь, то необходимо им учинить хороший порядок и честное и довольное пропитание. Вместе с тем служителей предлагалось освободить от постоев, так как они занимались секретными делами, ибо “излишняя компания дома к излишним разговорам часто ведет”».
«Предложения» Остермана не были утверждены из-за смерти Петра I. Однако они изучались и использовались при составлении штатов на протяжении всего XVIII столетия.
Императрица Екатерина I, по восшествии на престол в 1725 году, пожаловала его чинами государственного вице-канцлера и действительного тайного советника. С тех пор Остерман вступил в управление иностранными делами и оправдал впоследствии доброе мнение, которое имел о нем покойный император.
В послепетровскую эпоху Остерман превратился в одну из ключевых фигур российской политики. Его отличала фантастическая работоспособность; по отзывам современников, Остерман занимался делами и днем и ночью, и в будни и в праздники. В течение 15 лет он фактически руководил русской внешней политикой.
Благодаря Остерману в 1726 году Россия заключила союзный договор с Австрией, сохранивший свое значение на весь XVIII век, ибо в основе его, согласно идее Остермана, была общность интересов по расчленению Польши, «укрощению» Пруссии и изгнанию турок из Европы.
Новая внешнеполитическая программа России была сформулирована Остерманом в июле – августе 1727 года и развита в письмах к Б.И. Куракину и А.Г. Головкину, русским уполномоченным на Суассонском конгрессе. Основные принципы ее таковы: «убежать от всего», что «могло нас в какое пространство ввести», то есть избегать любых военных столкновений; «освободиться добрым порядком» от имевшихся обязательств в отношении голштинского и мекленбургского дворов, а добившись этого – «возобновить прежнее согласие с дацким»; восстановить прежние дружеские отношения с Англией; короля прусского содержать на своей стороне, ибо, «хотя и вспоможения великого от него ожидать невозможно, однако ж для других соседов пригодится»; с Австрией «оставаться в союзе» для решения турецких и иранских дел, а с другими соседями «искать дружбу и союз». Эта примирительная программа постепенного сближения с Англией и Данией, дальнейшего укрепления русско-австрийского союза при ее реализации позволила бы России укрепить свои позиции на Балтике и в целом в Европе, а также приступить к решению «восточных» проблем.
Дипломатические бумаги Остермана показывают его изощренный ум, умение учесть, взвесить все обстоятельства дела, предусмотреть все негативные последствия политических поступков. Любопытно также, что он никогда не подписывался титулом барона и графа, а всегда просто: Андрей Остерман. Как для руководителя внешней политики, для него было характерно развитое чувство равновесия, расчетливость и – главное – стремление оставить России поле для дипломатического маневра, а соответственно – для самостоятельной политики.
После кончины великого канцлера графа Головкина, последовавшей 20 января 1734 года, граф Остерман вступил в Главное управление иностранным департаментом и в декабре того же года заключил в Санкт-Петербурге с английским резидентом Рондо трактат в 30 статьях о дружбе и взаимной торговле на 15 лет.
В 1736 году императрица объявила войну Порте. Частые нападения крымских татар на российские границы явились тому причиной. Некоторые из российских политиков, и прежде всего граф Остерман, были против этой войны. Он доказывал, что Россия не может извлечь из этого выгод, война приведет к значительным военным потерям и большим финансовым издержкам. Предположения графа Остермана оправдались. Россия, помимо некоторого расширения границ и блистательных успехов оружия своего войска, никакой существенной выгоды от войны с Портой не получила. Война завершилась в 1739 году. Изданный в феврале 1740 года манифест о заключенном с турками мире был сочинен графом Остерманом.
В последние годы царствования Анны Иоанновны (с 1736 года) Остерман редко выезжал из дому, под предлогом, что не мог ходить от сильной подагры.
В 1740 году, после смерти Анны Иоанновны, свержения Бирона, отставки Миниха и установления регентства Анны Леопольдовны, Остерман решил, что наступил его час, и, пользуясь особым доверием правительницы, выдвинулся в руководители государства – фактически стал главой правительства. Эта должность, как и чин высшего морского начальника – генерал-адмирала, полученный Остерманом в 1740 году, была явно не по нему: привыкший действовать незаметно, осторожно плести сети интриг, он не обладал необходимой широтой подхода к государственным проблемам, авторитетом лидера, решительностью и смелостью.