Структура Особого отдела была перестроена, вместо отделений были образованы отделы: 1-й отдел — контрразведка против разведок спецслужб западных стран, наблюдение за иностранными представительствами и колониями на территории СССР (начальник — В.А. Стырне); 2-й отдел — борьба с антисоветской деятельностью белогвардейских, крестьянских, молодежных групп и организаций и бандитизмом (Н.Г. Николаев-Журид); 3-й отдел — борьба с националистическими движениями и организациями, контррразведка против разведывательной деятельности со стороны государств Востока, наблюдение за представительствами и колониями этих стран на территории СССР (Т.М. Дьяков); 4-й отдел — оперативное обслуживание армии, флота, оборонного строительства и военно-учебных заведений (Л.А. Иванов). В марте 1931 г. отделы вновь были переименованы в отделения.
В июле 1931 г. решением Политбюро ЦК Ольский был снят с должности за выступление вместе с другими руководителями ОГПУ против Г.Г. Ягоды. В коллективном заявлении в ЦК ВКП (б) участвовали второй зампред ОГПУ и начальник ИНО С.А. Мессинг, начальник СОУ Е.Г. Евдокимов, начальник Административно-организационного управления (АОУ), Главного управления пограничной охраны и войск (ГУПОиВ) и Главной инспекции по милиции и уголовному розыску при ОГПУ И.А. Воронцов, полпред ОГПУ по Московской области Л.Н. Вельский. Они выступили против первого зампреда Ягоды (в частности, они обвиняли его в фабрикации следственных дел на командиров Красной Армии — бывших офицеров царской армии).
Это дело под наименованием «Весна» было начато руководителями ГПУ Украины В.А. Балицким и И.М. Леплевским с санкции высшего руководства партии (опасавшегося заговора и вооруженного мятежа бывших офицеров в случае интервенции) при поддержке Ягоды. В числе арестованных (около 10 тыс. чел. оказались известные военные специалисты бывшие генералы А.И. Верховский (военный министр Временного правительства), С.Г. Лукирский, А.А. Свечин, А.Е. Снесарев, полковник Н.Е. Какурин и многие другие. По словам А.А. Здановича, «Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержащихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».
Ягода был очень встревожен таким поворотом событий, тем более что ему стало известно о намерении Ольского, Евдокимова и еще ряда крупных чекистов опротестовать не только дело «Весна», но и некоторые другие и довести до руководства страны, что ОГПУ сворачивает на путь чрезмерных репрессий».
Конфликт завершился поражением противников Ягоды. Его поддержал председатель ОГПУ В.Р. Менжинский, а затем и Сталин. Хотя сам Генрих Григорьевич в итоге переместился с поста первого заместителя на должность второго зампреда (первым замом стал Иван Алексеевич Акулов, старый партийный работник, в ЧК ранее не служивший, а третьим зампредом руководитель украинского ГПУ Всеволод Аполлонович Балицкий). Противники Ягоды пострадали гораздо серьезнее. По постановлению ЦК были уволены из ОГПУ Мессинг, Ольский, Воронцов и Вельский, Евдокимов переведен из Центра (сперва в Ленинград, затем в Среднюю Азию) за, как говорилось в постановлении Политбюро ЦК ВКП(б) от 6 августа, «совершенно нетерпимую групповую борьбу против руководства ОГПУ», распространение «совершенно несоответствующих действительности разлагающих слухов о том, что дело о вредительстве в военном ведомстве является "дутым делом"», расшатывание «железной дисциплины среди работников ОГПУ».
Ольский же с 1931 г. руководил Главным управлением столовых, кафе и ресторанов Наркомснаба-Наркомвнуторга СССР, с 1936 г. — член Совета при наркоме внутренней торговли СССР. На VII съезде Советов (март 1935 г.) избирался членом ЦИК СССР.
Был также членом Московского комитета ВКП(б) и Моссовета.
В сентябре 1935 г. член Политбюро и секретарь ЦК партии, нарком путей сообщения СССР Л.М. Каганович просил И. В. Сталина согласия на переход Я.К. Ольского в НКПС начальником отдела пассажирских перевозок. Сталин ответил ему в письме: «Ольский ведет большую и серьезную работу по народному питанию. Перевод его в НКПС означал бы серьезный урон для Нарпита… Я решительно против снятия Ольского с Нарпита». Тем не менее с конца 1936 г. в центральной печати развернулась кампания критики Ольского и возглавляемого им Главного управления.
В 1936 г. начались первые аресты чекистов польского происхождения. Историк органов госбезопасности полковник В.Н. Хаустов освещает историю вопроса: