Успехи Людникова в учебе, его авторитет среди товарищей, политическая грамотность не остались не замеченными руководством школы. В 1924 году его назначили командиром взвода, избрали делегатом городской комсомольской конференции. Но в том же году он получил горестную весть из дома — умер отец. Иван тяжело переживал утрату и, понимая, как тяжело придется теперь его младшим братьям и сестрам, думал даже о том, чтобы вернуться домой, но все-таки решил продолжить обучение. Он написал председателю хуторского совета, попросив оказать помощь семье.
После окончания Одесской пехотной школы и полугодовой стажировки в войсках в августе 1925 года Людников становится командиром Красной армии. Незадолго до этого он был принят в ряды ВКП(б). В связи с острой нехваткой кадров выбор места службы у молодых офицеров был большой. Но Людников давно для себя решил, что служить будет в отдаленном гарнизоне, где могут возникать непредвиденные ситуации, требующие принятия самостоятельных решений и скорейшего овладения командирскими навыками. Поэтому из предложенных вариантов он выбрал Кавказ, регион, где было неспокойно. Его первая командная должность — командир взвода 37-го стрелкового полка 13-й Дагестанской стрелковой дивизии.
В подчинении у Людникова оказались совсем молодые ребята, из которых ему предстояло сделать умелых бойцов. Очень скоро он имел возможность убедиться, что выбранное место службы было не только удаленным, но и горячим. Много раз взвод Людникова участвовал в схватках с бандитскими отрядами, оставшимися в горах после окончания Гражданской войны. В одной из таких операций был захвачен имам Нажмудин Гоцинский, бывший одним из руководителей антибольшевистского движения в Дагестане в 1917–1921 годах. Спустя год с начала службы Людников назначается командиром пулеметной роты, но пробыл он на этой должности лишь около двух месяцев.
Командование отмечало в нем не только умение руководить подчиненными в бою, но и задатки воспитателя и наставника. Людникова переводят во Владикавказскую пехотную школу. Согласившись на преподавательскую работу, он и сам не ожидал, что будет заниматься обучением курсантов военному делу в течение восьми лет. Именно такой срок прослужил Людников в этом учебном заведении, пройдя путь от командира взвода до начальника штаба батальона.
Несмотря на удаленность от Москвы и других крупных центров сосредоточения военных учебных заведений, уровень преподавания на новом месте службы Людникова соответствовал современным требованиям. Этому способствовали и хорошая учебная база, и высокий профессионализм преподавательского состава, и окружающая обстановка. Личный состав училища, включая командиров и слушателей, неоднократно привлекался к ликвидации бандитских формирований в горах неподалеку от Владикавказа.
В течение всего периода службы в училище Людников не только учил, но и постоянно учился сам, совершенствуя свои знания и используя все свободное время для осуществления своей давней мечты — поступлению в Военную академию им. М. В. Фрунзе. Этому способствовали и деловая товарищеская атмосфера в коллективе пехотной школы, и творческое отношение к подготовке молодых офицеров. О высоком уровне подготовки кадров в этом учебном заведении говорит тот факт, что среди его выпускников оказалось много военачальников и командиров, впоследствии отличившихся в ходе Великой Отечественной войны, в том числе Героев Советского Союза. А один из преподавателей училища — командир взвода управления учебного артдивизиона Тычинский в период Сталинградской битвы был начальником артиллерии в 138-й стрелковой дивизии, которой командовал Людников.
Во время службы во Владикавказе Иван Ильич познакомился с девушкой, уроженкой этого города, Евгенией Васильевной Карягиной, и в 1927 году молодые люди создали свою семью. Евгения Васильевна была настоящей офицерской женой, понимала все трудности профессии своего мужа. Иван Ильич и Евгения Васильевна прожили вместе почти 50 лет и воспитали троих сыновей.
В 1934 году Людникова перевели в Казань руководителем тактики пехоты Татаро-Башкирской военной школы. Назначение на новую должность в крупное учебное заведение означало, что о Людникове уже сложилось мнение как о хорошем военном специалисте и педагоге. Он не только с успехом вел теоретические занятия, но и закреплял знания офицерской аудитории работой с картами, на макетах, во время практических занятий на местности, что особенно нравилось слушателям.