После создания единого разведывательного аппарата, Комитета информации при Совете министров, Панюшкин полгода проработал главным секретарем комитета, а в ноябре 1947 года уехал послом в Соединенные Штаты. По положению он одновременно был резидентом внешней разведки в Вашингтоне. В июне 1952 года его вновь отправили послом в Китай. Но на сей раз Александр Семенович недолго проработал в Пекине. После смерти Сталина его вдруг вызвали в Москву, и два месяца он находился в резерве МИД, ожидая назначения.
Отозвали его из Пекина потому, что надо было срочно пристроить Василия Васильевича Кузнецова, которого сместили с поста председателя ВЦСПС. Личных претензий к Кузнецову не было — понадобилась его высокая должность руководителя советских профсоюзов. На нее пересадили Николая Михайловича Шверника, при Сталине возглавлявшего Президиум Верховного Совета. А главой Верховного Совета СССР (пост безвластный, но заметный) поставили маршала Ворошилова.
5 марта 1953 года вечером на пленуме ЦК, когда наследники Сталина делили власть и посты, решили назначить Василия Васильевича Кузнецова заместителем министра иностранных дел и отправить его в Китай в качества посла и представителя ЦК. Но от идеи услать его в Пекин быстро отказались, и он остался в МИДе. С 1955 года он состоял в должности первого заместителя министра, как и Громыко.
Александра Панюшкина возвращать в Китай уже не стали, а поставили во главе разведки.
После ареста Берии в июне 1953 года в органы госбезопасности активно направляли людей из партийного аппарата и кадровых военных. Заместителем министра внутренних дел по кадрам и начальником управления кадров назначили заведующих секторами отдела административных органов ЦК КПСС.
Почти сразу же, осенью 1953 года, в Кремле возникла мысль о том, что такой монстр, как единое министерство внутренних дел, надо раздробить.
4 февраля 1954 года министр внутренних дел Сергей Никифорович Круглов представил в ЦК записку с предложением выделить из МВД оперативно-чекистские подразделения и создать на их основе «Комитет по делам государственной безопасности при Совете министров СССР».
Структура нового комитета предлагалась такой: главное управление по разведке в капиталистических странах; главное управление по контрразведывательной работе внутри страны; управление по контрразведывательной работе в Советской армии и Военно-морском флоте; отдел по оперативно-чекистской работе на спецобъектах промышленности; служба наружного наблюдения; шифровально-дешифровальная служба; управление по охране руководителей партии и правительства; следственная часть; учетно-архивный отдел (архив, статистика, внутренняя тюрьма); служба оперативной техники; отдел по изготовлению средств оперативной техники, средств тайнописи, документов для оперативных целей, экспертизе документов и почерков; радиоконтрразведывательная служба…
8 февраля на заседании президиума ЦК обсуждалась записка Круглова. Ход дискуссии записывал Владимир Никифорович Малин, заведующий общим отделом ЦК, особо доверенный помощник Хрущева.
Обсуждение свелось к кадровым вопросам.
Круглова решили оставить министром внутренних дел. Хрущев настоял на том, чтобы Комитет госбезопасности возглавил преданный ему генерал Иван Серов.
Заодно задумались о том, кого делать первым заместителем председателя Комитета госбезопасности. Возникла кандидатура Александра Семеновича Панюшкина, который был и на партийной работе, и на дипломатической. Но воспротивились два влиятельных члена президиума ЦК.
Министр обороны Николай Александрович Булганин решительно сказал, что «Панюшкин не подходит». С ним согласился глава правительства Георгий Максимилианович Маленков, который знал начальника разведки по работе в ЦК: «Панюшкин слабый в аппарате».
13 марта 1954 года появился указ Президиума Верховного Совета об образовании КГБ. Внешняя разведка получила статус первого Главного управления.
В тот же день Александра Семеновича Панюшкина назначили членом коллегии КГБ, 17 марта — начальником первого Главного управления. 31 мая ему присвоили звание генерал-майор. Он занял кабинет №763 — на седьмом этаже главного здания на Лубянке. В этом кабинете сидели почти все начальники советской политической разведки.
30 июня 1954 года ЦК принял постановление «О мерах по усилению разведывательной работы органов государственной безопасности за границей». Там говорилось о концентрации сил на работе против главного противника — Соединенных Штатов и Англии. Ведомства, имевшие загранпредставительства, получили указание выделить должности прикрытия, которые занимались разведчиками.
Под руководством Панюшкина готовилось убийство руководителя Народно-трудового союза в Западной Германии Георгия Сергеевича Околовича.
Но руководитель террористической группы капитан Николай Хохлов из 13-го отдела первого Главного управления передумал убивать Околовича. 18 февраля 1954 года капитан пришел к Околовичу домой и все ему рассказал. Хохлов получил политическое убежище. Западные немцы устроили ему пресс-конференцию, и разгорелся грандиозный скандал.