Оборона вермахта трещала по швам. Как вспоминал впоследствии Маршал Советского Союза К. С. Москаленко, немецкое командование «поняло всю опасность, создавшуюся в результате продвижения войск Воронежского и Степного фронтов, и начало стягивать к западу от Харькова крупные силы. Оно поняло, что под угрозу поставлена не только его Харьковская, но и Донбасская группировка и для предотвращения разгрома начало перебрасывать обратно с Донбасса и из-под Орла свои танковые дивизии СС. 6 и 7 августа наши войска продолжали двигаться вглубь обороны. 1-я танковая армия овладела городом Богодухов, а 27-я армия освободила Грайворон. Стрелковые войска отстали от танков на 25—40 километров. Н. Ф. Ватутин сознательно, с расчетом шел на риск. Он приказал танкистам пробиваться еще глубже в тылы противника, понимая, что чем глубже будет расколота Харьковская группировка врага, тем беспомощнее станет враг. К исходу 7 августа войска Воронежского фронта продвинулись на глубину свыше 100 километров, расширив прорыв до 120 километров». Между немецкой 4-й танковой армией и оперативной группой «Кемпф» образовалась 55-километровая брешь. Началась борьба непосредственно за овладение Харьковом.
Однако дальнейшие события показали, что темп наступления, взятый Воронежским фронтом, оказался чересчур высоким. Продвижение войск шло очень быстро, но без достаточного закрепления отбитых у немцев рубежей и обеспечения флангов. Этой ситуацией незамедлительно воспользовался противник, нанеся несколько мощных контрударов. Первый из них он нанес 11 августа из района Богодухова по войскам 1-й танковой армии и левому флангу 6-й гвардейской армии. А второй 18—20 августа — из района Ахтырки. На этом участке фронта его приняла 27-я армия. В результате ожесточенных боев фронт понёс ощутимые потери и был оттеснён к северу. По этой причине возможность выйти в тыл Харьковской группировке противника существенно сузилась.
Отход войск фронта назад вызвал очередное недовольство у Сталина. 22 августа в три часа ночи он направил в адрес Ватутина грозную телеграмму: «События последних дней показали, что Вы не учли опыта прошлого и продолжаете повторять старые ошибки как при планировании, так и при проведении операций. Стремление к наступлению повсюду и овладению возможно большей территорией, без закрепления успеха и прочного обеспечения флангов ударных группировок, является наступлением огульного характера. Такое наступление приводит к распылению сил и средств и даёт возможность противнику наносить удары во фланг и тыл нашим далеко продвинувшимся вперёд и не обеспеченным с флангов группировкам и бить их по частям».
Далее, указав Ватутину о напрасных потерях фронта и утрате выгодного положения для разгрома Харьковской группировки противника, Верховный категорично заключил: «Я еще раз вынужден указать Вам на недопустимые ошибки, неоднократно повторяемые Вами при проведении операций, и требую, чтобы задача ликвидации Ахтырской группировки противника, как наиболее важная задача, была выполнена в ближайшие дни».
О чем думал в те минуты Ватутин, читая телеграмму Сталина, нам никогда не узнать. Но ясно одно: жесткие, но справедливые слова Верховного, словно кнут, остудили пыл командующего и подстегнули его выполнить поставленную задачу. В течение суток обстановка изменилась к лучшему, контрудар противника был отбит. Действия правого крыла Воронежского фронта стали более решительными и организованными. Это позволило соседу — Степному фронту Конева — к полудню 23 августа освободить Харьков. Вскоре немцев выбили и из Ахтырки.
В этот же день Ю. Б. Левитан озвучил по радио приказ Верховного главнокомандующего И. В. Сталина, в котором, в частности, говорилось:
«генерал-полковнику Коневу
генералу армии Ватутину
генералу армии Малиновскому
Сегодня, 23 августа, войска Степного фронта при активном содействии с флангов войск Воронежского и Юго-Западного фронтов в результате ожесточенных боев сломили сопротивление противника и штурмом взяли город Харьков. Таким образом, вторая столица Украины — наш родной Харьков освобожден от гнёта немецко-фашистских мерзавцев.
В наступательных боях за овладение городом Харьков Ваши войска показали боевую выучку, отвагу и умение маневрировать...
В знак торжества по случаю победы под Харьковом сегодня, 23 августа, в 21 час столица нашей Родины Москва от имени Родины салютует нашим войскам, освободившим Харьков, двадцатью артиллерийскими залпами из 224 орудий.
За отличные боевые действия объявляю благодарность всем руководимым Вами войскам, участвовавшим в операции...»
Вечернее московское небо озаряли яркие гирлянды салюта. Столица в очередной раз славила своих героев. За период с 3 по 23 августа только войска Ватутина и Конева разгромили 15 вражеских дивизий, из них 4 танковые. За три недели наступления войска Воронежского и Степного фронтов продвинулись с боями на Южном и Юго-Западном направлениях в среднем на 140 километров.