Шестого октября, как и было намечено, залпами «Катюш» была начисто сметена вражеская артиллерия, прикрывавшая пути к Таураге. Главная ударная сила Людникова — 5-й гвардейский стрелковый корпус, при поддержке штурмовиков Ил-2 и артиллерии, прорвал вражескую оборону. Несмотря на довольно сильное сопротивление, 7 октября город был освобожден, остатки гарнизона взяты в плен. Продолжением операции явился захват сильно укрепленного городка Юрбаркас и переправа наших частей через Неман на его левый берег. Полки 262-й дивизии генерал-майора З. Н. Усачева 9 октября пересекли границу СССР и вошли в немецкое местечко Аугстогаллен, став, таким образом, первым соединением Красной армии, ступившим на территорию Германии.
В эти дни Людников испытывал огромное удовлетворение и радовался ратным подвигам своих бойцов и командиров, он вспоминал: «Эту дату — 9 октября — мы запомнили навсегда. В этот день войска 39-й армии первыми перешли границу гитлеровского рейха. За шесть дней наступления 39-я армия прошла с боями и маневром в другой район сто пятьдесят километров. Объезжая части, я не заметил усталости на лицах солдат… Граница Восточной Пруссии стала для них тем рубежом, на котором у каждого словно бы появилось «второе дыхание».
Незадолго перед Таурагской операцией случилось у Ивана Ильича еще одно радостное, хотя и неожиданное событие. К нему на фронт сумел добраться его старший сын Анатолий. Ему было неполных 17 лет, и он хотел воевать. Доводы отца о том, что его возраст в армию не берут, не подействовали. На это Анатолий возразил: «Ты с 15 лет в армии, а я что, хуже?» Пришлось оставить его в армии и зачислить в полк связи. Иван Ильич был с ним строг и даже поругивал, но в глубине души одобрил его решение.
Наступление наших войск в Прибалтике продолжалось почти без пауз. 11 октября И. Д. Черняховский вызвал Людникова на КП фронта, где уже находились командующие 5, 31 и 11-й гвардейской армий, и ознакомил их с задачей, поставленной перед войсками 3-го Белорусского фронта. Предстояло нанести мощный удар в направлении на Гумбиннен и Инстербург, ликвидировать войска противника перед границей Восточной Пруссии и прорвать укрепленную приграничную полосу. 39-й армии Людникова предстояло вступить в бой из второго эшелона и за четыре дня продвинуться на 30 километров. Важная роль, которая отводилась 39-й армии в предстоящей операции, свидетельствует о том, что успешные действия Людникова и его подчиненных в Белоруссии и Прибалтике не остались не замеченными Ставкой и командованием фронта.
О том, с чем пришлось столкнуться войскам 3-го Белорусского фронта на завершающем этапе войны, Людников вспоминал: «В течение долгих лет гитлеровцы создавали в Восточной Пруссии многополосную, глубоко эшелонированную систему полевых и долговременных укреплений… Города-бастионы прикрывались с востока многоэтажными дотами. Эти железобетонные подземные сооружения… лежали на пути к главной цитадели Восточной Пруссии, городу-крепости Кёнигсбергу… На защиту сел и городов Восточной Пруссии гитлеровское командование преднамеренно бросило те части, которые здесь же комплектовались… Они отстаивали свой родной дом, свою семью и сопротивлялись с невиданным ожесточением». Времени для подготовки наступления почти не оставалось, данных о системе обороны противника не хватало. Командование фронта провело силовую разведку, однако полученных результатов по-прежнему было недостаточно. Людников приказал своим подчиненным, следуя за атакующей в первом эшелоне 5-й армией, вести интенсивную разведку.
На следующий день после начала наступления 3-го Белорусского фронта — 17 октября — двинулась вперед 39-я армия. Однако выдержать заданный темп не удалось. Прусские укрепления оказались мощнее, а готовность противника оказать ожесточенное сопротивление — выше, чем это было под Витебском и в Литве. В течение двух с половиной месяцев, до середины января 1945 года, в войсках велась напряженная подготовка, солдаты и командиры учились преодолевать укрепления и сражаться ночью. 39-й армии, усиленной танковой бригадой и несколькими полками САУ, предстояло наступать на Пилькаллен и Тильзит.
Начавшееся 13 января 1945 года наступление с первых минут пошло не по плану: в полном тумане, несогласованно началась артподготовка, что вызвало резкую реакцию Черняховского, а погодные условия не позволили применить авиацию. Проанализировав сложившуюся обстановку, Людников предложил командующему фронтом использовать положение 94-го корпуса, глубже других углубившегося в немецкую оборону, и нанести удар на второстепенном направлении южнее Пилькаллена, поставив под угрозу окружения всю инстербургскую группировку гитлеровцев. Получив согласие Черняховского, 17 января 39-я армия Людникова прорвала немецкую оборону и через два дня овладела городом Тильзит.