Важнее, чем война со Швецией, была война с Ливонским орденом, исконным врагом России на Балтийском побережье, наиболее старавшемся препятствовать нашим сношениям с Западной Европой. В 1547 году Иоанн отправил в Германию саксонца Шлитте с поручением набрать учёных, художников и мастеров, которые могли бы быть полезны для России. Шлитте выпросил на это позволение у императора Карла V, набрал 123 человека[55] и привёз их уже в Любек. Но ливонское правительство представило императору опасность, какая может произойти от этого для Ливонии и для других соседних стран, и добилось того, что Карл дал полномочие не пропускать в Москву ни одного учёного и художника. Сам Шлитте был задержан в Любеке и посажен в тюрьму, а набранные им люди рассеялись. Один из них, некто Ганс, попытался было пробраться в Москву, но был схвачен и брошен в тюрьму; освободившись из тюрьмы, он намеревался всё-таки пробраться в Москву, но опять был схвачен уже недалеко от русской границы и казнён. Занятый тогда важными делами на востоке, Ларь не мог отмстить Ливонии за это недоброжелательство и не забыл его.
Ввиду слабости Ливонского ордена, с одной стороны, а с другой — ввиду настоятельной необходимости войти в прямые торговые сношения с Западом и с тем вместе укрепить и охранить свои границы, московское государство должно было начать ливонскую войну. В поводах к ней недостатка не было: самым лучшим поводом служили очевидная враждебность ордена и нарушение существующих договоров. Так, в договоре 1463 года между Псковом и дерптским епископом встречается упоминание о дани, которую, по старому обычаю, епископ должен был платить великому князю; там же постановлено, что епископ и горожане должны оберегать русский конец и святые церкви. В договоре с гроссмейстером ордена Плеттенбергом (1503 года) условие о дани было подтверждено, но не исполнялось в течение 50 лет. Вопрос об этой дани не поднимался до 1554 года, когда в Москву прибыли ливонские послы ходатайствовать о продолжении перемирия. По перемирной грамоте, подписанной ливонскими послами, дерптский епископ обязался заплатить в три года недоимку Юрьевской (Дерптской) дани за 50 лет, очистить русские церкви, разграбленные протестантами, и не стеснять русской торговли[56]. Срочные три года прошли, а дань не была выплачена. В феврале 1557 года явились в Москву ливонские послы без денег, с просьбой о сложении дани. От имени царя, не пустившего их к себе и на глаза, им было объявлено, что если дань не будет заплачена, то государь будет, «се положа упование на Бога, сам искать на магистре и на всей ливонской земле». Царь запретил русским ездить в Ливонию и послал князя Шестунова строить город и гавань (корабельное пристанище) при устье реки Нарвы, ниже Ивангорода. Испуганные ливонцы снарядили новое посольство — просить хоть об уменьшении дани. Но переговоры не привели ни к чему: царь требовал, чтобы деньги были выплачены, а послы приехали без денег. На этом и прервались переговоры. Один из немецких летописцев рассказывает, что послов ливонских пред их отъездом пригласили к царскому столу и подали им пустые блюда.