В 1797 году И. И. Дмитриев был приглашен в Москву на коронацию императора Павла I. Государь осыпал его милостями и приказал своему сыну, великому князю Александру Павловичу, спросить у Дмитриева, за которого тот поручился во время ареста, чего он хочет. Иван Иванович ответил: «Ничего, кроме спокойной жизни в отставке». Когда же Александр Павлович во второй и третий раз настойчиво обратился к нему: «Скажи что-нибудь, батюшка решительно требует», тогда только Дмитриев ответил, что желает поступить на статскую службу.
Вскоре после этого он получил «хорошее» место — товарища министра уделов. Спустя три месяца его с чином статского советника перевели обер-прокурором 3-го департамента Сената. К гражданской службе Иван Иванович привыкал с трудом. По его словам, он «будто вступил в другой мир», для него совершенно новый, незнакомый и во многом чуждый. Он отмечал, что, заняв предложенный ему пост обер-прокурора Сената, подумал прежде всего о важности своего нового звания — «блюстителя законов». По его мнению, это звание обязывало охранять законы от «умышленно кривых истолкований», «сносить равнодушно пристрастные толки и поклеп тяжущихся или подсудимых», противостоять иногда «особам, украшенным сединами, знаками отличий».
В своих воспоминаниях Дмитриев писал: «Отсюда начинается ученичество мое в науке законоведения и знакомство с происками, эгоизмом, надменностию и раболепством двум господствующим в наше время страстям: любостяжанию и честолюбию». Иван Иванович основательно изучил законы, которыми следовало руководствоваться в своей деятельности, познакомился с «внутренним положением» поднадзорного ему департамента Сената, порядком ведения там дел.
С первых же дней пребывания за обер-прокурорским столом Дмитриев стал активно отстаивать интересы законности. Это не всегда нравилось властолюбивым Сенаторам. Он вспоминал: «Едва проходила неделя без жаркого спора с кем-нибудь из Сенаторов, без невольного раздражения их самолюбия».
Служба Дмитриева продвигалась успешно. В 1798 году он получил чин действительного статского советника и орден Св. Анны 2-й степени. Однако времени для поэтического творчества практически не оставалось. «Во все это время, находясь на гражданской службе, — писал позднее И. И. Дмитриев, — я уже не имел досуга предаваться поэзии. Притом же и сам хотел на время забыть ее, чтобы сноснее для меня был запутанный, варварский слог наших толстых экстрактов и апелляционных челобитен».
В декабре 1799 года Дмитриев, неожиданно для многих сослуживцев, вышел в отставку (с чином тайного советника). Он купил в Москве дом, недалеко от Красных ворот, и «возобновил авторскую жизнь». В 1803–1805 годах Иван Иванович издал три тома своих сочинений.
С 1806 года И. И. Дмитриев вновь на службе — он стал Сенатором (в Москве) и вскоре получил орден Св. Анны 1-й степени. В 1808 году император направил его в Рязань для следствия о злоупотреблениях по винному откупу, а затем в Кострому для «исследований поступков» губернатора Пасынкова.
1 января 1810 года И. И. Дмитриев стал членом Государственного совета и получил назначение на пост министра юстиции и генерал-прокурора. 30 августа того же года император пожаловал ему орден Св. Александра Невского. Дмитриев довольно скоро понял необходимость проведения кардинальных преобразований в министерстве. Правосудие и прокурорский надзор находились тогда не в самом лучшем состоянии. В своих воспоминаниях он писал по этому поводу: «При первом обзоре всех частей моего министерства я уже видел, что многого недостает к успешному ходу этой машины: излишние инстанции, служащие только проволочке дел и в пользу ябеднических изворотов; недостаточность в назначении сумм на содержание судебных мест, особенно ж палат гражданской и уголовной; определение чиновников к должности большею частью наудачу, по протекции или через покровительство; неравенство в жалованье и производстве в чины».
Дмитриев энергично принялся за работу. Он сумел провести ряд важных узаконений. Как руководитель органов юстиции и прокуратуры, Иван Иванович был достаточно доступен и доброжелателен, своих подчиненных всегда поддерживал и поощрял. У него было много хороших идей о наилучшем устройстве судебной и прокурорской частей. Но не по его вине до их осуществления дело, как правило, не доходило. Одни прогрессивные идеи не нашли поддержки у императора, другим — противились приближенные в высочайшему двору сановники. Да и время оказалось тревожным — надвигалась война с Наполеоном. Правительству было не до преобразований.