Остерман пунктуально выполнял обязанности русского посла. Свои действия он весьма логично продумывал и обосновывал. Интересы России, как было четко сказано в инструкциях, требовали заключения мира со Швецией. И Остерман полагал, что «если не добиться сейчас мира, то война расширится, и неизвестно, когда и как она окончится». Поэтому следует идти на уступки. Остерман признавал, что Россия возьмет на себя тяжелые обязательства участвовать в трудной войне. Однако если она этого не сделает, то европейские страны, враждебные ей, сами могут начать действовать, когда и где они это сочтут нужным. По мнению Остермана, было только две возможности: либо ждать, когда союзники, возбуждаемые Англией, выступят против нее, либо предупредить их действия и выступить против них. Последнему варианту он отдавал предпочтение.
Для Петра важно было не разрывать конгресс только в ближайшее время, «вскорости», чтобы подать шведам надежду. Он подчеркивает, что обязательства Россия может взять на себя «по заключению мира», то есть после подписания договора.
Получив указ царя от 16 ноября, Остерман в тот же день послал Головкину и Шафирову письмо, в котором уверял, что «шведские условия таковы, что требуют зрелого размышления и может быть, что продолжение войны против Швеции не так нам тягостно будет, как новая война, в которую входить имеем». Петр, решительно отклонив шведские идеи, в то же время предписывал конгресса не прерывать, а затягивать его всеми возможными способами. Брюсу и Остерману предстояла трудная задача. Но судьба освободила их от ее решения. 14 декабря на острове Сундшер стало известно, что король Карл XII убит в Норвегии при осаде крепости Фридрихсгаль шальной пулей.
Вопрос о заключении мира России с Швецией теперь уже невозможно было рассматривать вне связи с тем, что происходило в дипломатической жизни Европы.
Остерман должен был вновь напомнить шведам о прежних условиях мира и о готовности пойти на уступки: вернуть всю Финляндию, Лифляндию присоединить к России не навечно, а лишь временно, на 40 или даже 20 лет, выплатить Швеции денежную компенсацию. Инструкция предписывала заявить, что никаких новых уступок с русской стороны сделано не будет.
В Стокгольме Остерману ответили, что лучше им всем погибнуть, чем заключить такой невыгодный мир. 6 августа он вернулся и доложил Петру о том, что ультиматум отвергнут. Вся эта процедура предпринималась исключительно для того, чтобы показать искреннее стремление России к миру. А в то самое время, когда Остерман объяснялся с королевой, отряды русских высадились с кораблей на шведский берег в двух местах, севернее и южнее Стокгольма. Шведские войска кое-где пытались оказать сопротивление, но были легко обращены в бегство. Операция носила сугубо демонстративный характер и предназначалась для наглядного доказательства беззащитности Швеции, что и было достигнуто.
Без всяких посредников 28 апреля 1721 года в финском городе Ништадт встретились за круглым столом дипломаты России и Швеции для заключения мирного договора. Россию представляли по-прежнему Брюс и Остерман, который получил титул барона и чин тайного советника канцелярии.
Переговоры проходили напряженно. Дело дошло до смешного: шведские представители, например, требовали, чтобы в перечне уступленных ими городов числился Петербург! Русская сторона не поступилась ничем. Более того, если в конце Аландского конгресса Россия соглашалась на временное присоединение Лифляндии, то теперь она отходила к России навечно. В то же время русские представители пошли на уступки ради главного – скорейшего подписания договора. Россия уступила Швеции Финляндию, согласилась не настаивать на включении в договор претензий голштинского герцога, за Лифляндию выплачивалась двухмиллионная компенсация. Швеция получала право беспошлинно закупать русский хлеб и т. д. Но представители России не пошли на заключение прелиминарного договора, рассчитанного на то, чтобы снова затянуть дело.
30 августа 1721 года был подписан Ништадтский договор, согласно которому между Россией и Швецией устанавливался «вечный, истинный и ненарушенный мир на земле и воде». Завоеванные русским оружием Ингерманландия, часть Карелии, всю Эстляндию и Лифляндию с городами Рига, Ревель, Дерпт, Нарва, Выборг, Кексгольм, островами Эзель и Даго оставались за Россией.
Петр был очень доволен заключенным договором и мастерством своих дипломатов. В 1723 году Андрей Иванович стал сенатором и заменил Шафирова на посту второго лица в дипломатическом ведомстве. Петр I говорил об Остермане, что он никогда не ошибается в министерских делах.
В 1724 году Петр I поручил Остерману «дать приличнейшее образование Коллегии иностранных дел». Тайный советник Остерман, опытнейший дипломат, составил проект нового штата канцелярии и регламента Коллегии. Проект-записка, названная «К сочинению и определению канцелярии Коллегии иностранных дел предложения» – один из лучших составленных Остерманом документов.