Срывая и не допуская основного метода контрразведывательной работы, заключающегося в перенесении нашей борьбы против иностранных разведок на их собственную территорию, польские шпионы в наших органах достигли такого положения, при котором советская контрразведка из органа, которому пролетарским государством поручена борьба против иностранных разведок и их деятельности в целом, была на ряд прошедших лет превращена в беспомощный аппарат, гоняющийся за отдельными мелкими шпионами.
В тех же случаях, когда попытки контрразведывательного выхода за кордон делались, они использовались польской разведкой либо для внедрения своей крупной агентуры в СССР (дело Савинкова), либо для установления контакта с деятельностью антисоветских элементов и их активизации (дело Москвича-Боярова, проф. Исиченко и др.) <…>
30 мая 1937 г. Ольский был арестован. Следствием руководил начальник отделения 3-го отдела (КРО) ГУГБ НКВД Зельман Пассов ранее служивший под начальством Яна Каликстовича. От Ольского избиениями вымогали признания в шпионской работе на польскую разведку вместе с другими чекистами-поляками или уроженцами Польши (сообщниками Ольского были объявлены старейшие чекисты-поляки Бронислав Бортновский, Станислав Пинталь, Станислав Глинский, польские евреи Иосиф Уншлихт, Станислав Мессинг, потомок польско-немецкого баронского рода Роман (Ромуальд) Пилляр, белорус Филипп Медведь и многие другие).
27 ноября 1937 г. Военной коллегией под председательством бывшего помощника начальника КРО ГПУ Василия Ульриха Ольский был приговорен к расстрелу, в тот же день приговор привели в исполнение. Посмертно реабилитирован в 1955 году.
После отставки Ольского 6 августа 1931 г. начальником Особого отдела был назначен член Коллегии ОГПУ, бывший начальник Экономического управления ОГПУ Г. Е. Прокофьев, вскоре ушедший из органов в связи с назначением заместителем наркома РКИ СССР. 17 ноября 1931 г. начальником ОО был утвержден бывший начальник СОУ ГПУ Украины, выдвиженец нового зампреда ОГПУ В.А. Балицкого, И.М. Леплевский. Постановлением ЦИК СССР от 17 сентября 1931 г. особые отделы выводились из-под контроля Реввоенсовета.
Прежние руководители контрразведки были в основном переведены в провинциальные органы ОГПУ — в Среднюю Азию (Залин), Свердловск (Стырне), Крым (Дьяков). Первым помощником начальника ОО и начальником 1-го отделения был назначен А.М.Шанин, близкий к Ягоде, ранее работавший в Административно-организационно управлении ОГПУ. 2-е отделение возглавил переведенный из Воронежа И.И. Сосновский. Николаев-Журид сохранил свой пост помощника начальника Особого отдела и начальника 3-го отделения.
1 июня 1933 г. на пост начальника ОО был назначен М.И. Гай, ранее находившийся на политработе в войсках ВЧК-ГПУ (в частности, был военкомом дивизии особого назначения имени Дзержинского при Коллегии ОГПУ) и в Экономическом управлении ОГПУ, с декабря 1932 г. работавший заместителем начальника ОО ОГПУ. По своей прежней работе он меньше, чем его предшественники, имел отношение к вопросам контрразведки, но был близок к Г.Г. Ягоде и зампреду ОГПУ Г.Е. Прокофьеву. Заместителями начальника ОО были И.И. Сосновский (1934–1935 гг.), бывший начальник КРО ГПУ УССР Н.И. Добродицкий (до 1936 г.), бывший разведчик М.С. Горб (1934–1937 гг.).
В этот период Особым отделом ОГПУ (в том числе вместе с ИНО) были проведены операции «Заморское» (полномочным представительством ОГПУ по Север-Кавказскому краю против РОВС и румынской разведки), «М-8» — против РОВС в Париже, «Маки-Мираж» — против японской разведки на Сахалине, в ходе которой было арестовано 19 японских агентов, «Консул» — против английской и румынской разведок и резидентуры РОВС в Румынии и другие. Как правило, использовался метод создания легендированных организаций.
В те же годы ОГПУ с помощью перевербованных агентов польской разведки разоблачило польских и чехословацких агентов в Киеве, Москве и Ленинграде. В Туркмении в 1932 г. сотрудники ОО раскрыли две резидентуры английской разведки. Применяемое в этих и других операциях легендирование антисоветских организаций на территории СССР со временем стало терять эффективность, поэтому руководство ОГПУ приняло решение о сужении масштабов оперативных игр и ограничило право местных органов на их проведение.
В 1934 г. после ликвидации ОГПУ и образования НКВД Особый отдел вошел в состав Главного управления государственной безопасности НКВД СССР. Начальником его остался М.И. Гай (с введением персональных воинских званий в ноябре 1935 г. — комиссар госбезопасности 2 ранга).
КРО НКВД (1936–1941)