Осенью ромеи перешли в наступление, в середине ноября они штурмом взяли Неаполь. Нерешительность и трусость Теодата послужили причиной переворота — король был убит, а на его место готы избрали бывшего солдата Витигиса. Тем временем армия Велисария, не встречая сопротивления, подошла к Риму, жители которого, особенно старая аристократия, открыто радовались освобождению из-под власти варваров. В ночь с 9 на 10 декабря 536 г. через одни ворота Рим покидал готский гарнизон, а в другие входили византийцы. Попытки Витигиса отбить город назад, несмотря на более чем десятикратное превосходство в силах, оказались неудачными. Преодолев сопротивление остготской армии, в конце 539 г. Велисарий осадил Равенну, а следующей весной столица державы остготов пала. Готы предложили Велисарию быть их королем, но полководец отказался. Подозрительный Юстиниан, несмотря на отказ, спешно отозвал его в Константинополь и, не разрешив даже справить триумф, отправил сражаться с персами. Сам василевс принял титул Готский. Королем же остготов стал в 541 г. одаренный правитель и мужественный воин Тотила. Ему удалось собрать разбитые дружины и организовать умелое сопротивление немногочисленным и плохо обеспеченным отрядам Юстиниана. За пять последующих лет византийцы лишились в Италии почти всех своих завоеваний. Тотила успешно применял особую тактику — разрушал все захваченные крепости, дабы они не могли послужить в будущем опорой врагу, и тем самым принуждал ромеев к сражениям вне укреплений, чего они не могли делать в силу своей малочисленности. Опальный Велисарий в 545 г. снова прибыл на Апеннины, но уже без денег и войск, практически на верную смерть. Остатки его армий не смогли пробиться на помощь осажденному Риму, и 17 декабря 546 г. Тотила занял и разграбил Вечный Город. Вскоре готы сами ушли оттуда (не сумев, однако, разрушить его мощных стен), и Рим вновь подпал под власть Юстиниана, но ненадолго.
Обескровленная византийская армия, не получавшая ни подкреплений, ни денег, ни продовольствия и фуража, стала поддерживать свое существование грабежом мирного населения. Это, как и восстановление суровых по отношению к простому народу римских законов на территории Италии, привело к массовому бегству рабов и колонов, которые непрерывно пополняли войско Тотилы. К 550 г. он вновь овладел Римом и Сицилией, а под контролем Константинополя остались лишь четыре города — Равенна, Анкона, Кротон и Отранте. Юстиниан назначил на место Велисария своего двоюродного брата Германа, снабдив его значительными силами, но этот решительный и не менее прославленный полководец неожиданно умер в Фессалонике, так и не успев вступить в должность. Тогда Юстиниан направил в Италию невиданную по численности армию (более тридцати тысяч человек), во главе которой стоял императорский евнух армянин Нарсес, «человек острого ума и более энергичный, чем это свойственно евнухам» (Пр. Кес., [71, с. 205]).
В 552 г. Нарсес высадился на полуострове, и в июне этого года в битве при Тагинах войско Тотилы было разгромлено, сам он пал от руки своего же придворного, а окровавленные одежды короля Нарсес отослал в столицу. Остатки готов вместе с преемником Тотилы, Тейей, отошли к Везувию, где во втором сражении были окончательно уничтожены. В 554 г. Нарсес одержал победу над семидесятитысячной ордой вторгшихся франков и аллеманов. В основном боевые действия на территории Италии завершились, а готы, ушедшие в Рецию и Норик, были покорены десять лет спустя. В 554 г. Юстиниан издал «Прагматическую санкцию», отменявшую все нововведения Тотилы — земля возвращалась прежним хозяевам, равно как и освобожденные королем рабы и колоны.
Примерно тогда же патриций Либерий отвоевал у вандалов юго-восток Испании с городами Кордубой, Картаго-Новой и Малагой.
Мечта Юстиниана о воссоединении Римской империи исполнилась. Но Италия была разорена, по дорогам истерзанных войною областей бродили разбойники, а пять раз (в 536, 546, 547, 550, 552 гг.) переходивший из рук в руки Рим обезлюдел, и резиденцией наместника Италии стала Равенна.
На востоке с переменным успехом шла (с 540 г.) тяжелая война с Хосровом, то прекращавшаяся перемириями (545, 551, 555), то разгоравшаяся снова. Окончательно персидские войны завершились только к 561–562 гг. миром на пятьдесят лет. По условиям этого мира Юстиниан обязался выплачивать персам 400 либр золота в год, те же ушли из Лазики. Ромеи оставили себе завоеванные Южный Крым и закавказские берега Черного моря, но в течение этой войны под покровительство Ирана перешли другие кавказские области — Абхазия, Сванетия, Мизимания. После более чем тридцатилетнего конфликта оба государства оказались ослабленными, не получив практически никаких преимуществ.