Свою задачу — перехватить большак Батурино—Холм-Жирковский и занять важнейшие переправы через Днепр — оперативная группа генерала Болдина выполнить не смогла. Упорные бои в районах её действий продолжались до 5 октября, порой затихая, а потом снова вспыхивая с прежней яростью.
Четвертого октября Холм-Жирковский дважды переходил из рук в руки.
Тем временем генерал Лукин храбро и стойко отражал новые и новые атаки на своём фронте. Против него действовало до семи пехотных дивизий при поддержке 150 танков. Пока противнику не удавалось пробить или опрокинуть порядки его дивизий. 5 октября 19-я армия продолжала удерживать свои рубежи к северу от Минского шоссе.
В этот же день, 4 октября, с южного крыла пришло известие, смысл которого потряс всех офицеров штаба Западного фронта: противник, частично смяв и рассеяв, а частично оттеснив войска 33-й и 43-й армий Резервного фронта, сделал глубокий прорыв в районе Спас-Деменск, Ельня.
«Прорыв противника в этом направлении создал исключительно трудную обстановку и для 24-й и 43-й армий Резервного фронта, и для Западного фронта, — вспоминал Конев. — Наши 20, 16, 19-я армии оказались под угрозой охвата с обоих флангов. В такое же положение попадала 32-я армия Резервного фронта. Обозначилась угроза выхода крупной танковой группировки противника с юга со стороны Резервного фронта в район Вязьмы в тыл войскам Западного фронта и с севера из района Холм-Жирковского».
Когда стало очевидным, что действия оперативной группы Болдина не дали желаемого результата, что танковые бригады завязли в боях на подступах к коммуникации Батурино—Холм [31], прочно осёдланной противником, и днепровским переправам, когда Военный совет Западного фронта окончательно понял, что «мелкие группы» немецких танков, о которых докладывали и командармы, и Болдин, на самом деле основная ударная группировка, разрезавшая линию обороны севернее Минского шоссе и опасно охватившая правый фланг 19-й армии, когда на всё это легла новость о прорыве под Спас-Деменском и Ельней и расчленении Резервного фронта, Конев позвонил в Ставку. Единственное, что ещё могло спасти войска и предотвратить катастрофу, — не медля отвести войска в глубину обороны, пусть с потерями, но вывезти, эвакуировать тяжёлую технику и вооружение и развернуть её на новом рубеже в районе Гжатска, вырвать дивизии из-под гусениц немецких танков, спасти армии от уничтожения и плена.
«В связи с создавшимся положением я 4 октября доложил Сталину об обстановке на Западном фронте и о прорыве обороны на участке Резервного фронта в районе Спас-Деменска, а также об угрозе выхода крупной группировки противника в тыл войскам 19, 16 и 20-й армий Западного фронта со стороны Холм-Жирковского, — продолжал Конев. — Сталин выслушал меня, но не принял никакого решения. Связь по ВЧ оборвалась, и разговор прекратился. Я тут же связался по бодо с начальником Генерального штаба маршалом Шапошниковым и более подробно доложил ему о прорыве на Западном фронте в направлении Холм-Жирковский и о том, что особо угрожающее положение создалось на участке Резервного фронта. Я просил разрешения отвести войска нашего фронта на гжатский оборонительный рубеж. Шапошников выслушал доклад и сказал, что доложит Ставке. Однако решения Ставки в тот день не последовало. Тогда командование фронта приняло решение об отводе войск на гжатский оборонительный рубеж, которое 5 октября было утверждено Ставкой. В соответствии с этим мы дали указание об организации отхода войскам 30, 19, 16 и 20-й армий».
Фразу Конева по поводу того, что Сталин выслушал его тревожный доклад, «но не принял никакого решения», историки потом интерпретировали как растерянность Верховного.
Что ж, возможно, Сталин на какое-то мгновение и растерялся. Он же тоже человек. Но, как теперь стало известно, Сталин сразу же позвонил Жукову в Ленинград:
— У меня к вам только один вопрос, — сказал Верховный, — не можете ли сесть на самолёт и приехать в Москву? Ввиду осложнения на левом крыле Резервного фронта в районе Юхнова Ставка хотела бы с вами посоветоваться о необходимых мерах.
Директиву на отвод войск Конев получил только в ночь с 5-го на 6 октября. Почти сутки Ставка решала, что предпринять! Время — даже часы и минуты — работало в тот период не на Красную армию. Той же директивой Западному фронту передавались 31-я и 32-я армии. Но теперь они были не в помощь Военному совету фронта. Теперь, когда предстояло снимать дивизии с позиций из-под огня противника и отводить их под непрерывным обстрелом артиллерии, они были только обузой.
«Ставка, к сожалению, с большим опозданием подчинила Западному фронту 31-ю и 32-ю армии Резервного фронта. Будь это сделано до начала сражения, мы могли бы их использовать в качестве второго эшелона…» — рассказывал Конев.