В то же время в 23 часа 3 августа войска 63-й А продолжили наступление по всему фронту, соединились с частями 380-й сд 3-й А и в ночь с 3 на 4 августа ворвались в город с юга, юго-востока и востока. На рассвете 4 августа 457-й сп 129-й сд 63-й А под командованием подполковника Ивана Васильевича Фролова ворвался на станцию Семинарская, а 518-й сп подполковника Якова Артемьевича Романенко овладел деревней Грачевка. Около 5 часов утра части 5-й сд 63-й А под командованием полковника Михалицына и 380-й дивизии полковника Кустова из 3-й А, действовавшие при поддержке 17-й гв. тбр полковника Шульгина и 253-го отдельного тп, завязали бои на восточной окраине города – улицах Московской и Пушкинской. К 6 часам утра 4 августа группа танков 17-й гв. тбр, наступавшая от деревни Большое Рябцево совместно с 1260-м сп 380-й сд, которым командовал подполковник Павел Михайлович Плотников, завязала бой за железнодорожный вокзал. Северо-западнее части 308-й сд под командованием полковника Масленникова форсировали Оку в районе деревни Щекотихино и ворвались в северную часть города, взяв под контроль улицы Пионерскую и Горького (Садовую). К 16.30 передовой отряд 129-й сд полковника Панчука также продвинулся до восточных окраин Орла в район Пятницкой слободы.
Весь день 4 августа в восточной части города шли уличные бои с подразделениями немецкой 12-й тд, которые к 19 часам отошли за Оку, разрушив за собой мосты. Немецкие саперы, отходя из центра города, взрывали здания, устанавливали в них мины замедленного действия. Советские саперы для наведения переправ и ремонта мостов использовали местное население – 300 жителей города[407], а штурмовые отряды, неотступно преследуя неприятеля, форсировали Оку в нескольких местах и в ночь на 5 августа ворвались в западную часть Орла.
По утверждению штаба ГА «Центр»[408], после боевого соприкосновения на правом и левом флангах 12-й тд в полосе 35-го ак 2-й ТА противник перешел в наступление значительными силами и при поддержке около 50 танков вклинился в главную полосу обороны в центре участка дивизии (восточная окраина города Орел). Наступление его было остановлено у железной дороги, подбито 30 танков. Таким образом, намерение противника еще до планомерного отхода немецких войск захватить Орел провалилось, несмотря на кризис на восточной окраине города. В 21.00 был взорван последний дорожный мост через реку Ока, и в 1.00 5 августа арьергарды 35-го ак покинули Орел.
В ночь с 4 на 5 августа подразделения 142-го сп 5-й сд под командованием подполковника Ивана Даниловича Фомина с танками армейского 231-го отдельного тп вышли к Оке и форсировали реку. В полосе 129-й сд около 4.30 утра 518-й сп подполковника Якова Романенко также вышел к берегу Оки в районе железнодорожного моста, тогда как основные силы дивизии к 5.30 продвинулись до устья реки Орлик. Одновременно 1262-й сп 380-й сд под командованием майора Николая Андреевича Малашина форсировал Оку и занял улицу Сталина (Московскую).
К этому моменту бои были значительно облегчены благодаря тому, что к городу с севера и северо-востока подошли 269-я и 342-я стрелковые дивизии 3-й А, которые к 16 часам вели бой с арьергардами немецкой 20-й мд на рубеже совхоз «Плещеево» – Рабочий Поселок. Пока шли уличные бои, войска ударной группы 3-й А прорвали промежуточную оборонительную полосу противника по реке Неполодь и продвинулись на юг, глубоко обойдя Орел с запада, вышли к реке Орлик, своими передовыми отрядами форсировали Орлик и перерезали шоссе Орел – Брянск. Части 63-й А, наступавшие южнее Орла, форсировали реку Цон и овладели железнодорожным поселком Саханский (4 км севернее Лопухино), соединившись здесь с частями 342-й сд полковника Червония, продвигавшейся с севера. Однако практически окруженный гарнизон противника продолжал упорно сопротивляться в пригородах и на окраинах Орла, которые были превращены в сильные оборонительные районы. Две ночи и один день продолжались бои за город, и только утром 5 августа Орел был полностью оставлен немцами. К исходу этого дня войска 3-й и 63-й армий, овладевшие городом и прилегающими районами, вышли на рубеж Бакланово – Крестьянин – Саханский – Большая Быстрая, после чего командующие армиями приступили к перегруппировке сил, чтобы организовать преследование отходящего противника.
Приказом Верховного главнокомандующего от 5 августа 1943 года трем стрелковым дивизиям – 5, 129 и 380-й – было присвоено почетное наименование Орловских (несколько позже это наименование получили еще семь дивизий), а ряд объединений и соединений, отличившихся в операции, стали гвардейскими.