Согласно формулярному списку с 1769 года Илларион Матвеевич в чине инженер-генерал-майора находился в действующей 2-й армии, возглавляя инженерные и минерные команды в армии графа Румянцева во время Первой русско-турецкой войны (1768–1774). Он отличился в сражениях при Рябой Могиле, реке Ларге, Кагуле. При его штабе уже находились: старший сын Михаил Илларионович (капитан, затем секунд-майор) и младший — Семен Илларионович, 16-летний кадет Артиллерийского и инженерного корпуса, в должности флигель-адъютанта. Младший, Семен, оставил службу по достижении чина майора. Причиной тому явилось умственное помешательство. Он проживал в сельце Федоровском Великолуцкого уезда; согласно сведениям местного архива, «майор Кутузов с прошлого 793 года находится в повреждении ума под опекой…»20. В 1804 году Михаил Илларионович сообщал о нем в письме супруге: «…Забыл тебе сказать, что я дорогою заезжал к брату Сем. Лар., и по несчастью нашел его, кроме что тих, в прежнем состоянии. Много очень говорил о трубе и просил меня от этого несчастья его избавить и рассердился, когда ему стал говорить, что этакой трубы нету»21. Однако Семен Илларионович значительно пережил своего прославленного брата: он скончался в возрасте 82 лет в 1834 году и был похоронен на кладбище Преображенской церкви погоста Влиц (Локня). Как сообщают местные историки-краеведы, накануне Великой Отечественной войны от памятника на могиле оставался один постамент, на котором были высечены слова: «Семен Илларионович Голенищев-Кутузов брат Светлейшего князя Смоленского»22.
К 1770 году военная страда подкосила силы отца полководца, который, как свидетельствуют документы, трудился, не зная отдыха: в рапорте от 25 марта Илларион Матвеевич сообщил графу Г. Г. Орлову, что по причине сломанной кости, которая еще не срослась, он пока не может следовать со 2-й армией. В сентябре того же года Илларион Матвеевич подал рапорт на имя императрицы, в котором просил по «…дряхлости и болезням… от военной и гражданской службы уволить». Ему была отставка с чином инженер-генерал-поручика. Так закончилась 37-летняя военная служба отца будущего фельдмаршала. В ту пору ему было всего 52 года, но на этом его государственная служба не закончилась. Илларион Матвеевич был назначен сенатором и отправился в Москву. Он и здесь проявлял свои глубокие знания и ум: «всякое важное дело в Сенате считалось окончательно решенным лишь после того, как Ларион Матвеевич, рассмотрев его, сказывал на оное свое мнение»23. Д. Бантыш-Каменский сообщал, что отец полководца «приобрел от соотечественников наименование Разумной книги, быв весьма сведущ не только в военных делах, но и в гражданских»24.
В 1777 году Илларион Матвеевич вернулся на Псковщину. В 1779 году в Исповедальных росписях Воскресенской церкви Теребенского погоста Опочецкого уезда сообщается, что «в сельце Ступине жительство имеет господин генерал-поручик и кавалер Иларион Матвеевич сын Голенищев-Кутузов, 62 лет, и дочь ево Дарья, 24 лет». Кроме Ступина ему принадлежат деревни Бабеева, Подъельна, Скарохново, Федорково, Васково, Варыгина, в них 275 душ крестьян. Естественно, что возвращение в родные пенаты такого высокопоставленного чиновника не прошло незамеченным в местном дворянском обществе: «…очень невысокий чин — капитанский, например, делал обладателя его человеком, уверенным в себе, давал ему вес и право на общее уважение в околотке; лица начальствующие представлялись нерушимым авторитетом»25. В 1775 году на основании одного из указов Екатерины II для управления губерниями стали создаваться депутатские дворянские собрания. В декабре 1777 года при открытии Псковского наместничества (губернии) Илларион Матвеевич был избран первым предводителем псковского губернского дворянства. В разгар выборов курьер из столицы принес весть о рождении внука Екатерины II — Александра, что было отмечено молебном и залпами из 101 пушки. В ответ царица милостиво пожаловала дворянство рескриптом, под впечатлением которого было решено вместо обычного монумента основать в Пскове дворянскую Екатерининскую гимназию. С письмом наместнику Якову Сиверсу от имени всего дворянства губернии обратился его предводитель Илларион Матвеевич Голенищев-Кутузов с просьбой завести в городе благородное училище.