Литовские послы Ян Щит и Богуш прибыли в Москву 3 октября 1517 года. Посредником в переговорах выступал Герберштейн. Московский государь торжественно заявил, что готов примириться с Сигизмундом ради своего «брата» Максимилиана и из-за того, чтобы «рука бесерменская не высилася и государи бы бесерменские вперед не ширились, а христианских бы государей над бесерменством рука высилася и государства бы христианские ширились». Эта расплывчатая формулировка о «бесерменских государях» вообще давала русским дипломатам возможность интерпретировать ее так, как им выгодно, и одновременно создавала впечатление готовности России вступить в антитурецкую лигу.
Гораздо труднее приходилось обеим сторонам, когда нужно было от деклараций переходить к рассмотрению конкретных условий мира. Василий III заявил, что Сигизмунд «неправдою» держит «отчину» русских князей – Киев, Полоцк и Витебск. Справедливость русских требований фактически была признана по договору 1514 года России с империей, и, когда русские дипломаты сослались на этот договор, Герберштейну ничего не оставалось, как заявить, что договор заключен «не по государя нашего велению».
Со своей стороны литовские послы говорили о том, что им издревле принадлежит не только Смоленск, но и Новгород, Псков, Вязьма и Северщина. Разговор, словом, велся на столь различных языках, что о взаимопонимании не могло быть и речи. Прояснила, но не облегчила ситуацию позиция, занятая Герберштейном. Он высказался за передачу Смоленска Литве, сославшись на пример Максимилиана, отдавшего Верону ее гражданам. Но отказываться от старинного русского города, присоединенного с таким большим трудом, Москва не собиралась.
Не возражая в принципе против продолжения переговоров, московские дипломаты решительно отклонили предложения Герберштейна. Ему ничего не оставалось, как покинуть Москву. 22 ноября он вместе с московским послом дьяком В.С. Племянниковым отбыл к имперскому двору.
Итог первой миссии Герберштейна в Москву не принес желаемого результата. Тем не менее отношения Московии с империей, прерванные после Венского конгресса, были возобновлены.
Осенью того же года австрийский посол возвратился в Вену. Видимо, здесь, в столице империи, в кружке венских гуманистов, внимавших его рассказам о далекой и необычной Московии, у Герберштейна впервые возникла мысль написать книгу о своем путешествии. Немаловажную роль могли сыграть и дневники, которые вел Герберштейн во время путешествия. Но прошло еще много лет, прежде чем эта идея осуществилась.
В 20–30-е годы XVI века Герберштейн был одним из руководителей делегации, посланной для приглашения Карла V на престол империи; он возглавлял посольство на Балканы, вел переговоры с венецианским дожем, турецким султаном, посещал почти все страны континентальной Европы.
А в 1526 году Герберштейн вновь был послан в Московию, с той же целью, что и в первый раз. Второе посольство оказалось удачливее, чем первое.
29 августа 1526 года в битве с турками при Мохаче погиб венгерский король Людовик (Лайош II) Ягеллон. При Ягеллонах позиции центральной власти ослабели. Даже угроза османского нашествия и грандиозный поход османов на Белград в 1521 году не могли привести к усилению централизаторских тенденций. Через пять лет, в 1526 году, состоялся новый поход, в результате которого Венгрия стала добычей могущественного соседа.
Венгерские события, тесно связанные с ростом турецкой угрозы, а также энергичный нажим имперской и польской дипломатии заставили Сигизмунда искать прочного мира с Россией: ведь в 1527 году кончалось пятилетнее русско-литовское перемирие; нужно было думать о будущем.
14 октября в Можайск, где в это время находился «на потехе» Василий III, прибыли литовские представители – полоцкий воевода Петр Станиславович Кишка и подекарбий Богуш. Здесь в присутствии Герберштейна начались переговоры. Литовские представители непременным условием заключения мира ставили уступку Смоленска. Русская сторона на это категорически не соглашалась. Тогда Кишка и Богуш пошли на заключение нового, теперь уже шестилетнего, перемирия. С этим литовское посольство и покинуло Можайск. Вместе с ним в ноябре 1526 года из России уехал и Герберштейн.
28 февраля 1527 года Сигизмунд I подписал договор, продлевавший на шесть лет (с 25 декабря 1526 по 25 декабря 1532 г.) перемирие между Литвой и Россией. Планы церковной унии и антитурецкие проекты империи были тактично, но вместе с тем решительно отклонены русскими дипломатами.