В 1920 году Дениц перевелся на торпедные катера и стал командиром Т-157 на базе Свинемюнде на побережье Померании. В начале 1921 года он стал капитан-лейтенантом, а в 1923 году возвратился в Киль, на должность эксперта минно-торпедно-разведывательной инспекции и участвовал в разработке нового образца глубинной бомбы. Осенью 1924 года, после коротких курсов штабных офицеров, которые вел Редер, Деница перевели в военно-морское командование в Берлин. 3десь он участвовал в разработке новых военно-морского устава и положения о воинских преступлениях и боролся с проникновением на флот большевизма. Дениц по характеру своей работы вынужден был поддерживать постоянный контакт с рейхстагом, что выработало у него отвращение к политике.
Работая в штабе, Дениц проявил себя старательным, самокритичным, требовательным служакой-трудоголиком. Он был прекрасно осведомлен о шагах, которые предпринимались руководством флота, чтобы обойти запретительные статьи Версальского договора. В августе 1927 года подобная информация просочилась в печать, что вызвало «скандал Ломана» (см. выше). Что знал Дениц об этих нарушениях, осталось тайной, так как тот никогда не обмолвился об этом и словом. В 1928 году он продолжил службу на Балтике, штурманом крейсера «Нимфа».
Причастность к делу Ломана не помешала продвижению Деница по службе. В ноябре его назначили командиром 4-й торпедной полуфлотилии, включавшей 4 торпедных катера и 600 человек под командованием 28 офицеров. Дениц с головой ушел в работу, отрабатывая маневры, очень напоминавшие те, что использовали позже германские подводники во время атак из надводного положения. После того как на осенних маневрах 1929 года Дениц отличился, «уничтожив» конвой условного противника, на него обратил внимание контр-адмирал Вальтер Гладиш, руководивший тайной подготовкой к подводной войне. С конца 1930 по 1934 год Дениц служил в штабе Североморского района, в Вильгельмсхафене, где занимался обеспечением внутренней безопасности (борьбой с коммунистами). В начале 1933 года его направили в длительное загранплавание. Дениц побывал в британских и голландских восточных колониях, на Мальте, в Красном море, на побережье Индии, на Цейлоне, Батавии, Яве, заходил в Сингапур. В октябре он получил звание фрегатен-капитана. В 1934 году, в целях совершенствования английского языка, Дениц посетил Англию, а вернувшись, получил под команду легкий крейсер «Эмден».
1 февраля 1935 года Адольф Гитлер приказал начать строительство подводных лодок, а шесть недель спустя отказался выполнять статьи Версальского договора, ограничивавшие военные возможности Германии. 6 июня 1935 года Карл Дениц был назначен «фюрером подводных лодок» (Fuerer der U-boote, FdU) и возглавил 1-ю подводную флотилию. В сентябре Германия имела уже 11 небольших (258 т) субмарин. 1 октября Дениц стал капитаном цур зее.
Карл Дениц оказался в невыгодном положении. В Берлине большую силу имели сторонники «больших кораблей», считавшие, что подлодки, побежденные в первой мировой войне, устарели и не представляли для Кригсмарине особой ценности. В отличие от Деница, они не понимали, что с 1918 года возможности подводного флота шагнули далеко вперед. Все же ОКМ позволило Деницу строить «его» подводный флот и не вмешивалось (хотя и не оказывало помощи) в его дела. К 1938 году Дениц разработал тактику групповых подводных атак («волчьих стай»). Теперь он нуждался в 620-тонных субмаринах (тип VII), способных действовать в Атлантике. Но адмиралы, склонные к гигантомании, замыслили строительство 2000-тонных подлодок, которые, по их мнению, были более износоустойчивы. Деница в подводной лодке интересовали другие качества субмарин: незаметность, неуязвимость для глубинных бомб и малые затраты при производстве. В конце концов Деницу позволили делать то, что он хотел. Вторая мировая полностью подтвердила его правоту.
Фюрер подводных лодок пользовался полной поддержкой командующего флотом Ральфа Карлса, но гросс-адмирал Редер планировал против Объединенного Королевства «войну крейсеров» и не уделял внимания строительству подводного флота. Дениц засыпал Редера памятными записками, в которых заявлял, что 300 субмарин выиграют войну рейха с Британией. Гросс-адмирал, словно насмехаясь над ним, неизменно вежливо отказывал.