От первого прокурора России до последнего прокурора Союза

В последующем И. Н. Ефремов вплоть до Февральской революции каждые три года выбирался в почетные мировые судьи Донецкого округа, причем дважды, в 1895–1898 и 1901–1904 годах, был председателем съезда мировых судей. До 1904 года он совмещал эту должность с выполнением функций почетного попечителя Новочеркасской гимназии и работой в окружном по крестьянским делам присутствии.

Иван Николаевич Ефремов с восторгом принял октябрьский манифест 1905 года, впервые предоставивший гражданам России, хотя и урезанные, но все же более или менее демократические права и свободы. Он с головой окунулся в политику и, благодаря своей широкой известности на Дону, на съезде землевладельцев абсолютным большинством голосов был избран депутатом I Государственной думы от Области Войска Донского. Ефремов участвовал в создании партии «Мирное обновление», близко примыкавшей по своим позициям к октябристам. С думской трибуны он тщетно призывал депутатов осудить всякое насилие, в том числе и распространившиеся в стране аграрные беспорядки. Перед роспуском думы И. Н. Ефремов предлагал закончить обращение к народу следующими словами: «Государственная дума, действительно пекущаяся об установлении законности и благополучии всего народа, высказывается против погромов, пожаров, грабежей и считает своей задачей осудить всякое насилие и всякий произвол, откуда бы он ни шел». Однако к его голосу тогда еще не прислушивались — молодой политик не имел большого общественного веса.

Во II Государственной думе, просуществовавшей всего несколько месяцев, Ефремов не участвовал. Тем не менее перед ее созывом он опубликовал в «Московском еженедельнике» большую статью о задачах Государственной думы. В ней были сформулированы идеи, которые стали основополагающими во всей деятельности И. Н. Ефремова в III, а затем и IV Государственных думах. «Пора отказаться от правительственного насилия и беззакония и очистить место праву и свободе. Пора возвратить закону его великое значение, чтобы он один действительно определял взаимоотношения государства и его органов с гражданами и этих последних между собою, и чтобы все, от мала до велика, ему неизменно подчинялись, — писал И. Н. Ефремов. — Бесправие граждан и произвол властей развратили все классы. Не видя уважения своих прав, не находя непоколебимой опоры в самом законе и суде, мы привыкли в России не уважать права соседа и преклоняемся лишь перед силой… Чтобы укрепить в народе, во всех слоях его, чувство законности и права, сознание обязанности самому заботиться о своем благополучии и бороться за него, необходимо твердо и последовательно провести во всем государственном строе начала законности и самоуправления…»

Продолжая служить почетным мировым судьей (без жалованья), И. Н. Ефремов достиг в 1908 году чина надворного советника. К этому времени он уже имел ордена Св. Станислава 3-й степени и Св. Анны 2-й и 3-й степеней.

Выбранный в III, а затем и IV Государственные думы, Иван Николаевич развил активную деятельность и быстро выдвинулся в число видных общественных лидеров. Для претворения в жизнь своих идей обновления российской жизни он обратился через печать с открытым письмом ко всем беспартийным прогрессивным членам Государственной думы. Он призывал их объединиться. «Для осведомления, взаимного ознакомления и сближения» Ефремов предложил свою квартиру. Он указывал, что, оставаясь «диким», то есть не входя в какую-либо организацию, беспартийный член думы чрезвычайно затрудняет свою деятельность: он лишает себя той осведомленности, которую дают групповые или фракционные собрания, не может попасть в комиссию, не может рассчитывать на поддержку товарищей, на «ободряющее общение с людьми, довольно близких по политическим взглядам».

Деятельность И. Н. Ефремова в Государственной думе была обширной и разносторонней. Он был одним из организаторов межпарламентского «общества мира», неоднократно участвовал в международных конгрессах и был избран в центральное бюро Межпарламентского союза мира. По этим вопросам он издал несколько книг, в частности, «Международный третейский суд» (1909 год) и «Русское народное представительство в Англии и Франции в 1909 году» (1911 год).

В Государственной думе Ефремов стал членом Совета старейшин, а также входил в члены бюро Прогрессивного блока. В октябре 1916 года в знак протеста на отказ кадетов включить в основную тактику Прогрессивного блока лозунг об «ответственном министерстве» он вышел из блока с рядом своих сторонников.

В конце 1916 — и начале 1917 года, когда революционная стихия в стране обострилась, И. Н. Ефремов, вместе с некоторыми другими депутатами: А. Ф. Керенским, Н. В. Некрасовым, М. И. Терещенко, А. И. Коноваловым, выступал за более решительную и активную борьбу с правительством, причем призывал к этому не только с думской трибуны, но и путем мобилизации народа и общественных организаций.