С 1922 года после реорганизации ВЧК Ольский возглавил ГПУ при Президиуме ЦИК БССР. В 1923 г. Реввоенсовет РСФСР наградил Ольского орденом Красного Знамени. А.А. Зданович приводит характеристику комиссии по аттестации сотрудников ГПУ (1922): «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост».
В начале 1923 г. по предложению заместителя председателя ГПУ Уншлихта Ольского переводят на работу в Москву. С февраля 1923 г. он — начальник 3-го отделения (контрразведывательная работа против Польши, Румынии и балканских стран), помощник начальника контрразведывательного отдела ОГПУ, с июля 1923 г. по совместительству начальник отдела погранохраны ОГПУ. Одновременно с октября 1923 г. главный инспектор Главной инспекции войск ОГПУ и начальник Высшей пограничной школы. С декабря 1925 г. одновременно заместитель начальника Особого отдела ОГПУ (с мая 1927 г. — первый помощник начальника ОО, фактически руководил им ввиду загруженности начальника отдела Г. Г. Ягоды) и КРО ОГПУ.
Он был награжден двумя знаками «Почетный работник ВЧК-ОГПУ» (эта ведомственная награда, впоследствии именовавшаяся «Заслуженный работник НКВД» и «Почетный сотрудник КГБ», в чекистской среде известна под названием «Почетный чекист»), а к десятилетию ВЧК-ОГПУ Коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». Ольский во многом отличался от некоторых руководителей ОГПУ. По словам А.А.Здановича, «известны многочисленные факты, когда он жестко реагировал на нарушения законов со стороны работников ОГПУ. Даже судя по его кратким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как далеко умел смотреть чекист, как стремился уберечь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Несмотря на крайнюю загруженность работой, он нашел время и совместно с работниками ГВП подготовил циркуляр, в котором категорически требовал от всех начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой».
В ноябре 1927 г. Ольский, как уже говорилось, возглавил КРО, оставаясь помощником начальника Особого отдела ОГПУ. Тогда же был создан единый секретариат обоих отделов. 26 октября 1929 г. Ольский был назначен начальником Особого отдела ОГПУ по совместительству с должностью начальника Контрразведывательного отдела (в ноябре он был назначен первым помощником начальника СОУ ОГПУ). Его помощниками (в 1927 г. в структуре центрального аппарата ОГПУ были упразднены должности заместителей) оставались Стырне и Пузицкий. Начальниками отделений были А. Формайстер (1-е — посольства), Роллер (2-е — англо-франко-итальянское), К. Науиокайтис (3-е — польское, затем- контрабанда, граница, таможня), В. Кияковский (4-е — Прибалтика и Скандинавия), И. Тубала (5-е — дальневосточные страны), Н.И. Демиденко (6-е — белая эмиграция), С. Гендин (7-е — Польша), выходец из Венгрии М.А. Розенфельд (8-е — немецкое, вместо перешедшего в ИНО О. Штейнбрюка).
Осенью 1930 года система контрразведки подверглась реорганизации. Приказом ОГПУ от 10 сентября 1930 г. для объединения борьбы с контршпионажем и «белогвардейско-кулацкой и повстанческой контрреволюцией», в т. ч. и в Красной Армии в состав Особого отдела были включены ранее упраздненные Контрразведывательный и Восточный отделы. 15 сентября была утверждена новая структура и штаты Особого отдела. Начальником был назначен Я.К. Ольский, его заместителем — Л.Б. (З.М.) Залин, переведенный с должности полномочного представителя ОГПУ по Западной области; помощниками начальника — С.В. Пузицкий (через месяц он был назначен заместителем Ольского), Н.Г. Николаев-Журид, бывший начальник КРО полномочного представительства ОГПУ по Северо-Кавказскому краю, В.А. Стырне, Т.М. Дьяков, бывший начальник Восточного отдела ОГПУ и Л.А. Иванов, бывший начальник Особой инспекции при Коллегии ОГПУ.