После смерти И.В. Сталина началась новая реорганизация органов госбезопасности, возвратился к руководству ими Л.П. Берия, генерал-лейтенанта Рясного во главе контрразведки сменил генерал-лейтенант Федотов. Полковник Грибанов продолжал все это время оставаться заместителем начальника контрразведки, теперь именовавшейся 1 — м управлением МВД СССР. Начало его службы в центральном аппарате МГБ было отмечено в сентябре 1952 года золотыми часами и месячным окладом («за образцовое выполнение важных заданий МГБ СССР»).
В качестве руководящего работника контрразведки он вошел в созданную приказом Берии одну из трех специальных следственных групп по пересмотру ряда дел («врачей-вредителей», бывших работников Главного артиллерийского управления Военного министерства СССР, «мингрельской националистической группы», «сионистской организации в МГБ»).
Группу по пересмотру дела бывших чекистов возглавил Грибанов. Вместе с ним в группу вошли (согласно приказу Берии) полковники П.В.Федотов (однофамилец начальника контрразведки) и Е.А. Цветаев (соответственно заместитель и помощник нового начальника Следственной части по особо важным делам МВД СССР, генерал-лейтенанта Л.Е. Влодзимирского). Приказ был отдан 13 марта 1953 года, группа обязывалась окончить работу через две недели — 27 марта. Уже 21 марта 1953 года большинство арестованных чекистов вышло на свободу, а генералы Утехин, Райхман, Эйтингон, Кузьмичев, полковники Шубняков и Свердлов вновь заняли руководящие посты в МВД СССР.
Дальнейшие реформы и новые назначения в системе госбезопасности (арест Берии в июне 1953 года, создание КГБ при Совете Министров СССР в марте 1954 года) не повлияли на положение Грибанова, остававшегося заместителем начальника 2-го Главного управления КГБ (так с марта 1954 года именовалась советская контрразведка). Роль Грибанова — одного из заместителей генерала Федотова постепенно возрастает. Особенно после того, как получившие весной 53-го года назначение на должности заместителей начальника контрразведки генерал-лейтенанты Судоплатов и Питовранов не задержались в главке (Судоплатов, уже будучи начальником 9-го, разведывательно-диверсионного отдела МВД, был арестован в августе 1953 года, а Питовранов в июне того же года уехал в ГДР руководить советскими чекистами).
Служебную деятельность Грибанов сочетал с общественной, по старому советскому обычаю — с 17 февраля 1954 года был председателем комиссии по жилищным вопросам при Главке.
14 января 1956 года, вместе с другими чекистами, полковнику Грибанову указом Президиума Верховного Совета СССР присваивается звание генерал-майора. Через 3 месяца, 14 апреля 1956 года, после ухода Федотова, Грибанов назначается начальником ВГУ и членом КГБ при Совете Министров СССР (с 18 сентября 1959 года эта должность именовалась «член Коллегии КГБ при СМ СССР»).
На этой должности он оставался при трех председателях КГБ — Серове, Шелепине и Семичастном. Свои воспоминания о Грибанове оставил Владимир Ефимович Семичастный, считавший Олега Михайловича «очень сильным генералом», «даже с налетом авантюризма». Но председателю КГБ это нравилось, «потому что для контрразведчика иметь чуть авантюризма и фантазии просто блестяще».