Голяков начинал служить рядовым в частях 9-й армии Юго-Восточного фронта, в составе которых участвовал в боях с белогвардейцами под городом Балашов Саратовской губернии. После этого некоторое время был политработником, а в июле 1919 года командование направило его в распоряжение политотдела армии. Там Голякова рекомендовали на должность комиссара в один из полков 23-й стрелковой дивизии, но до места назначения он не добрался, так как полк, в котором предстояло служить, почти всем составом попал в плен. Несостоявшегося комиссара направили в распоряжение председателя революционного военного трибунала армии. Последний, испытывая острую нехватку толковых людей, сразу же определил молодого и еще неопытного бойца на должность председателя Революционного военного трибунала 14-й стрелковой дивизии 9-й армии. 13 июля 1919 года Иван Терентьевич приступил к исполнению этой должности. Конечно, главным и определяющим в этом назначении (помимо дефицита кадров) было то, что уже тогда Голяков, несмотря на имевшееся у него за плечами лишь начальное образование, был исключительно начитанным, грамотным и целеустремленным человеком. В декабре 1920 года талантливого и инициативного молодого офицера выдвинули на еще более высокий пост — заместителем председателя военного трибунала войск Донской области (г. Новочеркасск). В январе 1921 года он возглавил этот трибунал. В августе 1921 года трибунал расформировали и Голякова направили в Ростов-на-Дону, где он получил должность члена коллегии военного трибунала Северо-Кавказского военного округа.
К этому времени Иван Терентьевич был уже женат на 20-летней Анне Ильиничне, урожденной Сизовой. В мае 1921 года у них родился сын Владимир.
За годы работы в военном трибунале Голяков приобрел определенный практический навык. Он много и упорно занимался самообразованием, однако чувствовал, что ему не хватает специальных знаний. Поэтому в 1922 году, с разрешения командования, без отрыва от основной работы, он стал посещать занятия на правовом отделении факультета общественных наук Северо-Кавказского университета. Учебу он успешно завершил в 1925 году, получив диплом по специальности криминалистика.
В Ростове-на-Дону Голяков прослужил четыре года. Потом он был выдвинут на должность заместителя председателя военного трибунала Западного и Белорусского военного округа и переехал в Смоленск. А еще через шесть лет, в сентябре 1931 года, — возглавил трибунал. К этому времени семья его увеличилась — в мае 1927 года родилась дочь Мария.
В 1931 году Иван Терентьевич успешно выдержал испытания на звание командира Рабоче-Крестьянской Красной Армии, и тогда же в Москве окончил курсы усовершенствования высшего начсостава РККА. За работу и общественную деятельность он не раз поощрялся командованием: награждался золотыми часами от Реввоенсовета Белорусского военного округа (май 1933 года) и от Реввоенсовета Союза ССР (декабрь 1933 года).
В марте 1933 года И. Т. Голяков становится членом военной коллегии Верховного суда СССР. В этой должности Иван Терентьевич прослужил почти пять лет. В январе 1936 года ему было присвоено воинское звание диввоенюриста.
Занимая столь высокий пост в течение длительного времени, И. Т. Голяков, естественно, был причастен и к тем репрессиям, которые проводила военная коллегия Верховного суда СССР в годы сталинизма. Через его руки прошло множество политических и уголовных дел. Приговоры выносились в духе того времени, особенно в отношении так называемых «контрреволюционеров» и «врагов народа», к которым причислить можно было фактически любого.
31 января 1938 года Прокурор Союза ССР А. Я. Вышинский подписал приказ о назначении Ивана Терентьевича Голякова Прокурором РСФСР. В этой должности он пробыл недолго — всего два с половиной месяца, не успев даже в сущности как следует вникнуть в дела и познакомиться с новой для него прокурорской системой. По этой причине он, конечно, ничем не сумел проявить себя на прокурорском поприще. Все, что он успел сделать, — это провести некоторые плановые мероприятия, подготовленные аппаратом, да подписать десяток-другой приказов и указаний.
14 апреля 1938 года Вышинский освободил И. Т. Голякова от обязанностей Прокурора РСФСР «ввиду перехода на другую работу». Исполнение обязанностей прокурора республики он возложил на В. А. Малюнова, бывшего тогда прокурором Московской области. Однако уже на следующий день Вышинский издал новый приказ (за тем же номером), согласно которому исполнение обязанностей Прокурора РСФСР возлагалось на помощника Главного военного прокурора бригвоенюриста М. И. Панкратьева. Что же касается В. А. Малюнова, то он был вообще снят с работы, а вскоре после этого арестован органами НКВД, осужден и расстрелян.
15 апреля 1938 года Голяков сдал все дела по прокуратуре республики Панкратьеву. На этом его прокурорская деятельность и закончилась.