Грибанову приходилось выезжать за границу. Так, вместе с Серовым в группе сотрудников КГБ он побывал в Венгрии (об этом упоминает в мемуарах генерал-майор Анатолий Михайлович Гуськов, в то время — заместитель начальника 3-го Главного управления КГБ — военной контрразведки). Серов в октябре-ноябре 1956 года во время подавления восстания в Венгрии руководил оперативной работой органов КГБ в ВНР. Утром 24 октября 1956 года он (инкогнито, в форме генерал-майора) прибыл в Будапешт вместе с членами Президиума ЦК КПСС А.И. Микояном и М.А. Сусловым под охраной танков. Находясь там, он фактически курировал работу советских советников при венгерском МВД (во главе с Ференцом Мюннихом), которое в течение недели с момента прибытия Серова оказалось полностью деморализовано, и органы госбезопасности были распущены, в связи с чем встал вопрос о дальнейшем пребывании советских советников. Возвратившись в Москву, Серов принял участие в заседании Президиума ЦК КПСС 1 ноября 1956 года, на котором заявил: «Выступления были тщательно подготовлены. Надь связан с повстанцами. Надо решительные меры принимать. Оккупировать надо страну». В тот же день Президиум ЦК КПСС своим постановлением поручил «тт. Жукову, Суслову, Коневу, Серову и Брежневу… разработать свои мероприятия в связи с событиями в Венгрии…» Серов вновь вылетел в Венрию. В ночь с 3 на 4 ноября на советской военной базе Текел под Будапештом он руководил арестом членов прибывшей для переговоров о выводе советских войск делегации правительства Венгрии (во главе с министром обороны Палом Малетером, впоследствии повешенным). Серов настоял на организации в министерстве общественной безопасности, вопреки мнению министра Ф. Мюнниха и председателя Венгерского революционного рабоче-крестьянского правительства Яноша Кадара, «политических отделов», которые выполняли функции «внешней разведки, контрразведки, секретно-политической службы, следствия и специальной службы оперативной техники». По словам самого Серова, «учитывая либеральное отношение руководящих работников Венгрии к врагам», он приказал особым отделам соединений Советской Армии в Венгрии отправлять арестованных венгров на станцию Чоп. Оттуда на Западную Украину было депортировано более 800 человек, среди которых было много несовершеннолетних, что вызвало последующие протесты венгров. В связи с протестом Кадара и Мюнниха с ними были вынуждены объясняться Серов и советский посол, в будущем один из преемников Ивана Александровича в КГБ, Юрий Владимирович Андропов, о чем они и сообщили телефонограммой в ЦК КПСС. Прибывший в Ужгород зам. министра внутренних дел СССР М.Н. Холодков, разобрав дела ряда арестованных, счел их необоснованными, о чем и доложил министру Н.П. Дудорову, что вызвало протестующую докладную записку Серова Хрущеву. Серов руководил (вместе с Мюннихом) операцией по выводу из югославского посольства в Будапеште Имре Надя и его переправке в Румынию.
Находившихся в парламенте Надя и членов его кабинета сразу же после начала штурма Будапешта должны были арестовать офицеры совместной советско-венгерской группы сотрудников госбезопасности во главе с заместителем начальника 3-го Главного управления КГБ при СМ СССР генералом Павлом Зыряновым, но они опоздали, группа Имре Надя успела укрыться в посольстве Югославии. За посольством было установлено наблюдение. Операцией руководил заместитель председателя КГБ, генерал-лейтенант Сергей Саввич Бельченко, находившийся тогда в Будапеште.
В этом деле, видимо, участвовал Грибанов. Такой вывод можно сделать из воспоминаний Бельченко. По его словам, арестованных на объекте в Румынии, куда они были вывезены, контролировала «группа чекистов во главе с генералом Федотовым». После того, как была получена информация о подготовке заговора с целью освобождения Надя, по указанию Хрущева арестованные были перевезены в Венгрию.
Так как Федотов к тому времени уже не был начальником контрразведки и работал в Высшей школе КГБ, то, видимо, имеется в виду Грибанов, а упоминание Федотова — ошибка памяти Бельченко.
Аналогичную акцию с кардиналом Иштваном Миндсенти, находившимся в американском посольстве, осуществить не удалось. Кардиналу пришлось пробыть там 15 лет — в 1971 году по соглашению между правительствами Венгрии и США он выехал в Ватикан.
В начале декабря 1956 года большинство чекистов группы Серова вернулось в Москву. Итогом их деятельности (за которую Серов получил орден Кутузова 1-й степени) стал арест более 5 тысяч человек, из них более 800 было депортировано в СССР.
Но основная работа контрразведки КГБ проходила внутри страны. В Москве велось наблюдение за иностранными посольствами (в первую очередь основных противников — США, Великобритании, Франции). Эти вполне стандартные действия контрразведки, отработанные десятилетиями, именно при Грибанове велись с большим размахом, что вполне соответствовало той характеристике «авантюриста», которой пользовался Олег Михайлович среди сотрудников КГБ, что и было впоследствии сформулировано Семичастным.