В то время, как велись ещё переговоры, русская сорокатысячная рать стояла уже на границах Ливонии под начальством царя Шиг-Алея и воевод — князя Михаила Васильевича Глинского и царицына брата Даниила Романовича. В январе 1558 года эта рать вторглась в Ливонию и опустошила её на пространстве 200 вёрст. Оставляя Ливонию, начальники русской рати послали к магистру грамоту, в которой писали: «За ваше неисправление и клятвопреступление государь послал на вас войну: кровь пролилась от вас. Если же хотите пред государем исправиться и кровь унять, то присылайте к государю с челобитьем, и мы все станем за вас просить». Положение Ливонии было плачевное. Созван был в Вольмаре сейм, на котором было решено, что следует снова попробовать склонить царя на мир. Собрали кое-как деньги для уплаты дани и отправили послов в Москву. Царь согласился на перемирие и велел прекратить войну. Но жители города Нарвы, несмотря на остановку с русской стороны военных действий, продолжали обстреливать соседнюю русскую крепость Ивангород, только рекою Наровою отделяемую от города Нарвы. Этим война возобновилась. Жители Нарвы, сознавая, что не могут держаться, послали в Москву с предложением подданства. В Москве послы приняты были благосклонно. Но, получив подкрепление, Нарва снова отказала в покорности, и 11 мая взята была окончательно. Царь велел освятить город и построить в нём церкви. Послам ливонским, приехавшим в Москву во время Нарвского дела, царь велел объявить, что если ливонцы хотят мира, то магистр, архиепископ рижский и епископ дерптский должны сделать то же, что сделали цари Казанский, Астраханский и Шиг-Алей, — должны сами явиться пред государем с данью со всей земли Ливонской, ударить ему челом и впредь во всем исполнять его волю, а завоёванные города останутся за Москвою. Требовалась, стало быть, полная покорность Ливонии. Послы уехали, и война продолжалась. Некоторые города ливонские сдавались без сопротивления. В них оставлялись русские воеводы и строились церкви. Сильное сопротивление оказал Нейгаузен (Сыренск), обороняемый Георгием Икскулем, который сдался только тогда, когда его собственные солдаты грозили его повесить. Епископ Дерптский был разбит Шейном и Адашевым.
У Ливонии не было сил обороняться от русских. Ливонские чины собрались в Дерпте и вели между собою переговоры о том, у кого просить помощи. Выслушивались разные мнения. Посреди этих прений дерптский бургомистр Тилэ высказал самое разумное мнение: он призывал своих соотечественников к пожертвованию имуществом, говорил о необходимости единения, указывая на то, что откуда бы Ливония ни призвала себе защитника, защитник этот поработит её. Но Тилэ «проповедывал глухим». Результатом дерптских переговоров было начало разложения Ливонии: Эстляндия и остров Эзель обратились с просьбою о принятии их под защиту к королю датскому, архиепископ рижский желал покровительства Польши, а магистр — Швеции. Соседние государства обещали своё посредничество, что в следующем, 1559 году и было исполнено со стороны Польши, Швеции и Дании, хотя это ни к чему не повело.
Магистр Кеттлер послал от себя посла к царю, прося его унять войну. Иоанн отвечал ему: «Похощет магистр государева жалованья, и он бы сам был бити челом, а по его челобитью посмотря государь его пожалует». Между тем русское войско под начальством князя Петра Ивановича Шуйского подходило к Дерпту, где запёрся епископ с гражданами и наёмным войском. Осада Дерпта началась 8-го и продолжалась до 18 июля. Осаждённые сначала защищались мужественно; но когда магистр отказал им в помощи, они принуждены были сдаться. Московский воевода объявил царскую милость, если осаждённые сдадутся; в противном случае грозил, что не оставит в живых и малого ребёнка. Дерптцы, составив очень выгодные для себя условия, предложили их Шуйскому. Шуйский, образ действий которого вообще чрезвычайно хвалит ливонский летописец, принял эти условия и занял город. Льготы, данные царём покорившемуся городу, показывали ясно намерение его завоевать Ливонию и удержать за собою навсегда это завоевание. Скоро началось поселение в юрьевской земле детей боярских; а епископ и некоторые граждане дерптские были перевезены в Москву. Взятие Дерпта, «лучшего и приятнейшего города в стране после Риги и Ревеля», распространило ужас по всей Ливонии. Города начали сдаваться: к осени было завоёвано до 20 значительных городов. Шуйский обратился с требованием покорности к Ревелю, обещая, что в таком случае государь даст ему ещё большие льготы, чем те, которыми он пользовался прежде. Но Ревель не покорился.