В поселке Диканька в парке им. Гоголя в 1970-е годы по просьбе жителей поселка при помощи Нестеренко был установлен памятник «катюшам» его полка — реактивная установка БМ-13 на постаменте. На открытие памятника вместе с ветеранами полка был приглашен Нестеренко, которому благодарные жители присвоили звание почетного гражданина Диканьки. После войны в Диканьке неоднократно встречались ветераны 4-го гвардейского минометного полка, на эти встречи приезжали и ветераны — представители других ГМЧ.
Из воспоминаний Нестеренко: «На участке обороны 14-й кавалерийской дивизии наш полк действовал с 24 сентября по 1 октября 1941 года. В это время дивизия не только удерживала занимаемый рубеж, но и смогла продвинуться вперед своим левым флангом на 12–15 километров. Все дивизионы нашего полка включились в активные боевые действия и своими батарейными и дивизионными залпами срывали каждую попытку врага сосредоточить на каком-либо участке свои силы и перейти в наступление. Вот как сказано о боевой работе нашего полка в это время в журнале боевых действий дивизии: “…B 11.00 один дивизион 4-го гмп открыл огонь по Федоровке, где сосредоточилась конница противника. После обстрела гитлеровцы бежали, оставив Федоровку. Всего перед фронтом дивизии действовало 3–4 батальона пехоты и до 5 батарей врага. Противнику нанесены большие потери артогнем 4-го гмп. В течение всего дня в Стаси немцы хоронили убитых…”
…За время боев под Лисичанском, с 19 ноября по 2 декабря, наш полк произвел 116 батарейных залпов. Всего было выпущено 6392 снаряда. Мы принимали все меры, чтобы помочь частям 49-й кавалерийской и 320-й стрелковой дивизиям овладеть Богдановкой, Золотаревкой, Малым Рязанцевом и Мессарошем.
Мы проводили ночные огневые налеты. Выводили на открытые позиции зенитные 37-миллиметровые батареи. Они внезапно появлялись со стороны леса и открывали беглый огонь по огневым точкам врага. В то же время с закрытых позиций мы давали минометный залп по расположению минометных батарей противника в районе Богдановки. Цель была одна — уничтожить как можно больше живой силы противника».
После Диканьки полк переброшен под Харьков в район населенного пункта Мерефа, где в одном из боев по личной инициативе Нестеренко впервые в истории гвардейских минометных частей дивизион М-13 вел огонь по вражеской колонне прямой наводкой.
Во время боев на Харьковщине комиссар полка Радченко побывал в Харьковском горкоме партии. Он решил организовать выпуск многотиражки. В горкоме на его просьбу откликнулись охотно, и комиссар получил портативное типографское оборудование, запас шрифтов и бумаги. Через несколько дней в Старобельске вышел первый номер полковой газеты «Гвардеец». Младший политрук Туманов оказался опытным и инициативным редактором, а гвардеец Щербак прекрасным наборщиком. Многотиражка освещала боевую жизнь подразделений полка, партийно-политическую работу, рассказывала об отличившихся в боях. Ракетчики читали ее с неменьшим интересом, чем любую центральную газету.
Впоследствии в «Гвардейце» была напечатана песня «Катюша», написанная самодеятельным поэтом гвардии рядовым Э. К. Талалаевским. Вот ее текст:
Со 2 по 18 ноября 1941 года полк своими силами проводил в Старобельске ремонт боевых и транспортных машин, накапливал боеприпасы, которые специальными эшелонами доставлялись из Москвы. Здесь отремонтировали и часть автобусов с ценностями Харьковского отделения Госбанка. Когда немного подморозило и окрепли дороги, «денежную» колонну отправили в Ворошиловград (ныне Луганск), где все ценности сдали в Государственный банк. За это полк впоследствии получил благодарность от Верховного главнокомандующего И. В. Сталина и 12 боевых машин с именными табличками на кабинах. Эти машины прибыли в полк уже под Сталинградом. Вручили их самым отважным расчетам.
8 ноября 1941 года полк по тревоге был вызван в город Лисичанск. Немцы подошли к городу и овладели его окраиной. Полк в быстром темпе, с марша, развернулся в боевой порядок и произвел мощный внезапный залп. В результате немцы оставили окраину города и в панике отошли на 8–12 километров на всем участке.