В августе 1919 г. по рекомендации Уншлихта Ольский, проводивший ранее ревизию Минской губЧК, сам становится чекистом. Он писал в автобиографии: «…С августа 1919 г. работаю в органах ВЧК-ОГПУ. Был начальником особого отдела 16-й Армии, в 1920 г. назначен особоуполномоченным особого отдела Западного фронта… При формировании 1-й Польской Красной Армии мне была поручена организация ее особого отдела, а после я вновь назначен в 16-ю Армию». Можно добавить, что Ольский был также начальником оперативной части Особого отдела 16-й армии, начальником информационного отделения и уполномоченным ОО Западного фронта. В 16-й армии Ольский вновь возглавил Особый отдел. Также во время войны с Польшей в 1920 г. Ольский был членом Польского бюро РКП(б) в Смоленске и заместителем начальника Особого отдела при комендатуре Вильно Филиппа Медведя. Тогда же он был утвержден заместителем того же Медведя во «Всепольской ЧК», которую советские чекисты планировали создать после занятия Варшавы (до которой войска Западного фронта не дошли 70 км). Ольский должен был также возглавить Особый отдел Всепольской ЧК. Другими кандидатами на руководящие посты в новой ЧК планировались заместитель начальника ОО 3-й армии Иосиф Опанский, особоуполномоченный ВЧК на Западном фронте (затем председатель ЧК Белорусской ССР) Александр Роттенберг, особоуполномоченные ОО Западного фронта Роман Пилляр, Владимир Горев, Вильгельм Курц, Станислав Полицкевич, председатель Витебской губЧК Сергей Шварц, начальник оперотдела ЧК Белоруссии Корф. Чекист Михаил Шрейдер, рассказавший об этом эпизоде, оставил воспоминания об Ольском как о исключительно справедливом руководителе. Этот польский дворянин был непримирим к любым проявлениям национализма. Узнав о проступке сотрудника ЧК — поляка, оскорбившего своего сослуживца-еврея, Ольский вызвал своего соплеменника и, убедившись в правильности сведений, приказал выгнать его из ЧК и исключить из партии. Еще один штрих к портрету Ольского, сохраненный Шрейдером, подметившим его манеру речи: говорившего «скороговоркой, быстро-быстро, нанизывая слово за словом (он всегда так говорил)» — вспоминал через 50 лет прошедший тюрьму, лагерь и фронт Шрейдер своего погибшего начальника и старшего товарища.
Возглавляя ОО 16-й армии, Ольский руководил раскрытием шпионской деятельности руководителя польской миссии связи при штабе 16-й армии (дело было в период мирных переговоров между РСФСР и Польшей) майора Равич-Мысловского и подхорунжего Езерского, имевших связь с существовавшей еще с 1918 г. польской шпионской организацией в Могилеве. По словам историка А.А. Здановича, «в той или иной степени на Равича работали 58 человек, среди которых были отдельные командиры и солдаты, железнодорожники, служащие органов снабжения армии и даже… несколько сотрудников особых отделов — поляков по национальности. Один из предателей вознамерился передать «дипломатам» шифр особого отделения первой дивизии, другой даже обратился с письмом к польским военным представителям с изложением перечня услуг, которые бы мог оказать в обмен на содействие после бегства в Польшу. Медлить было нельзя. Полностью раскрыв шпионскую деятельность Равича и имея в руках неопровержимые улики, особый отдел армии в начале января 1921 г. приступил к ликвидации разросшегося филиала польской разведки.
Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба. За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске».
В июне 1921 г. Ольский был назначен председателем ЧК БССР, действовавшей в то время на правах губ. ЧК и подчинявшейся Полпредству ВЧК на Западном фронте, находящееся в Смоленске. Это совпало с развитием бандитизма в республике. После приезда в Минск комиссии во главе с зампредом ВЧК И.С. Уншлихтом и главкомом РККА С.С. Каменевым был создан Реввоенсовет Минского района, с чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армии Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский.
Белорусские чекисты разгромили в Шумянском уезде группу савинковского «Западного областного комитета».
16 декабря 1921 г., выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский заявил, что «бандитизм к данному моменту полностью ликвидирован».