В Особом отделе Артузов работал заведующим оперотделением, начальником 12-го спецотделения, в январе 1921 г. становится помощником, а в июле того же года — заместителем начальника Особого отдела ВЧК (как уже отмечалось, с июля 1920 г. на этом посту Дзержинского сменил Вячеслав Рудольфович Менжинский). Как писал сам Артур Христианович в автобиографии, «с 1920 г. на правах члена Коллегии (по внутричекистским вопросам)». Он участвовал в ликвидации и следствии по делам известных контрреволюционных организаций «Национальный центр» и «Тактический центр», история эта неоднократно была описана в литературе. Летом 1920 г. Артузов ездил на Западный фронт с широкими полномочиями (право контроля работы особых отделов фронта и армий). Результатом поездки была ликвидация разведсети «Польской организации войсковой», действовавшей в тылу Красной Армии. Членам ПОВ удалось организовать ряд диверсий (взрывы военных складов в Хорошеве под Москвой и в Туле). Разведчиков ПОВ долго не удавалось брать в плен живыми, они успевали застрелиться. Игнатия Добржинского («Сверщ»), командира РККА и резидента ПОВ в Москве, сотрудник Особого отдела ВЧК Федор Карин в последний момент успел схватить за руку и выбить пистолет.
Добржинский стал первым из польских разведчиков, которых удалось перевербовать на идейной основе. Сосновский выдал всю сеть ПОВ чекистам, давшим ему обещание не расстреливать польских разведчиков, а отпускать их в Польшу под честное слово «не заниматься шпионажем». Обещание было выполнено. В итоге, были разгромлены ячейки ПОВ на Западном фронте и в Киеве. В дальнейшем такие диверсанты 1920 г., как Игнатий Добржинский («Сверщ», впоследствии под фамилией Сосновский — заместитель начальника Особого отдела ОГПУ, комиссар госбезопасности 3 ранга), Виктор Стецкевич (Кияковский) и другие работали в советских органах безопасности. Большое пропагандистское значение имело письмо Сосновского, Виктора Витковского-Марчевского, Виктора Стецкевича, Юны Сингер-Пшепелинской, Ирены Заборской, Карла Роллера, Марии Недзвяловской, Ежи Жарского, Вацлава Гурского-Табартовского членам ПОВ с призывом переходить на сторону большевиков, опубликованное в советских газетах в июле 1920 г.
В июле 1921 г. за эту операцию Артур Артузов был награжден орденом Красного Знамени.
Сам Артузов в той же автобиографии определял задачи своего подразделения как «обнимающего функции, организации и руководства в союзном масштабе органов борьбы со шпионажем иностранных государств с повстанческими, военными, контрреволюционными организациями, заговорами и политическим бандитизмом».
Заместителями начальника КРО стали известный чекист Роман Александрович Пилляр (двоюродный племянник Дзержинского барон Пилляр фон Пильхау, бывший ранее на подпольной работе в Литве, затем в Особом и Иностранном отделах ВЧК и вновь на подпольной работе — в Силезии) и Василий Васильевич Ульрих, впоследствии печально известный председатель Военной коллегии Верховного суда СССР в 1924–1948 гг., подписавший смертные приговоры десяткам тысяч людей, в том числе и своим бывшим сослуживцам по ЧК. Помощниками начальника КРО были назначены венгерский интернационалист Ференц Патаки (бывший начальник Отдела по борьбе с бандитизмом ВЧК и Управления войск ГПУ, в период Великой Отечественной войны направленный вместе с разведгруппой на подпольную работу в Венгрию и героически погибший в 1944 г.) и известные впоследствии чекисты Сергей Васильевич Пузицкий (потомственный дворянин, сын директора московской гимназии — действительного статского советника, подпоручик царской армии) и Эдуард Петрович Салынь.
Количество отделений в КРО неоднократно менялось. Отдел состоял из 10-й, затем 11-й, и с ноября 1922 г. — из 7-и отделений.
1-е отделение, образованное в ноябре 1922 г. на базе 10-го и 11-го отделений КРО, занималось осведомительской работой в иностранных представительствах. Его начальником (до января 1924 г.) был бывший руководитель 10-го и 11-го отделений Зельман Маркович Залин (Левин), ранее член еврейской социалистической партии «Поалейи- Цион», работавший в виленском подполье в 1919 г. вместе с Пилляром и в Особом отделе Западного фронта в 1920 г. под общим руководством члена РВС фронта, в 1922 г. — зампреда ГПУ И.С. Уншлихта, а осенью 1920 г. — недолго бывший начальником Иностранного отделения Особого отдела ВЧК.
После Залина 1-е отделение возглавил Александр Романович Формайстер, бывший член Польской социалистической партии (ППС) и Социал-демократии Королевства Польского и Литвы (СДКПиЛ), прошедший непростой путь от польского национализма к большевизму, также работавший в ЧК на Западном фронте.
2-е отделение КРО занималось контршпионажем против разведок прибалтийских и скандинавских стран. Его первым начальником был эстонский коммунист Йоханнес Кясперт, вскоре перешедший на работу в Коминтерн. Его сменил латвийский большевик Карл Карлович Сейсум-Миллер.