Запустив механизм амнистии, Берия затем продолжал проявлять инициативу, однажды даже предложил отдать ГДР Западу. Заявил, что социализм в этой стране построить не получится и что следует инициировать поглощение ГДР Западной Германией. Однако с этим предложением согласился только Маленков (и не прямо согласился, а лишь промолчал), остальные — Хрущёв, Молотов, Микоян, Булганин — идею отклонили. Берия был недоволен. Позже Микоян узнал, что после заседания Берия звонил Булганину и угрожал, что тот может потерять пост министра обороны.
О том, что Хрущёв задумал убрать Берию, Микоян ничего не знал вплоть до утра 26 июня. В этот день Хрущёв позвонил Микояну и попросил заехать к нему на дачу перед выездом в Кремль. Микоян приехал. Они переговорили в саду с глазу на глаз. Хрущёв сообщил, что намерен поставить вопрос о смещении Берии. Микоян в ответ признался, что он тоже подозревает Берию в намерении захватить единоличную власть, но доказательств у него нет. Однако Хрущёв, оказалось, такие доказательства собрал: Берия несколько раз единолично назначал руководителей украинской и белорусской партийных организаций, хотя такие назначения должны были согласовываться в аппарате ЦК.
Микоян был последним, кого Хрущёв поставил в известность о запланированном смещении Берии: разговор с Маленковым, Молотовым и прочими уже состоялся. О том, что Берия будет арестован, Хрущёв умолчал. Речь шла о компромиссном варианте: убрать Берию с высоких постов и назначить министром нефтяной промышленности. Микоян согласился. Хрущёв попросил помалкивать до самого последнего момента, никому не звонить, ни с кем дело не обсуждать, поскольку и его, Хрущёва, охрана, и охрана Микояна контролировались Берией.
Далее Микоян выехал в Кремль, началось заседание Президиума, имелась заранее подготовленная повестка, но Хрущёв, первым взявший слово, объявил, что текущие вопросы обсуждаться не будут, и далее перешёл к критике Берии. В защиту всесильного министра внутренних дел не выступил ни один член Президиума. Тот сначала не понял всей серьёзности момента и даже возмутился: «Что вы у меня блох в штанах ищете?» В этот момент в комнату вошёл маршал Георгий Жуков с группой офицеров; Берия был арестован.
Арест его готовился заблаговременно. Жуков собрал группу старших офицеров и генералов, лично ему преданных; они должны были провести арест в Кремле, нейтрализовать охрану Берии, а затем посменно охранять его. По некоторым данным, он содержался под арестом в подвале Генерального штаба (по другим данным в здании Военной комендатуры Москвы). В эту группу офицеров вошёл, в частности, генерал Василий Маргелов, командующий дивизией ВДВ в Приморском крае: его Жуков вызвал специально. Позже Маргелов стал главкомом ВДВ, легендарным «батей».
Впоследствии, зимой 1956 года, когда Президиум ЦК готовил ХХ съезд, когда Хрущёв предложил обнародовать данные о жертвах репрессий, он отдельно упомянул: «Не забудьте, мы убрали Берию, в этом наша заслуга перед партией». Сам же Микоян свидетельствует, что в истории с ликвидацией Берии главная роль принадлежит именно Хрущёву, он всё организовал, и он сумел держать всё в тайне.
Документально известно, что 26 июня Микоян возражал против ареста Берии, предлагая лишь снять его с руководящих постов. 2–7 июля состоялся посвящённый делу Берии Пленум ЦК, Микоян на нём выступал и сказал, что первоначально ему было трудно дать добро на арест члена Президиума ЦК. Но в какой форме Микоян выразил своё особое мнение — в утреннем приватном разговоре с Хрущёвым или уже в Кремле, в минуты, непосредственно предшествующие аресту, — остаётся не до конца ясным. Очень сомнительно, что члены Президиума официально ставили вопрос об аресте на голосование, Берия мог отреагировать мгновенно, позвать на помощь охрану либо сам оказать физическое сопротивление.
Однако товарищи по работе отметили недостаточную решительность Микояна. На Пленуме решили создать комиссию по расследованию деятельности Берии, в комиссию вошла вся «гвардия», Молотов, Маленков, Хрущёв, Каганович (кроме них ещё 9 человек, в том числе, например, Суслов и академик Поспелов), но Микояна туда не включили.
Компромиссную позицию Микояна в ситуации с Берией историки запомнили, и теперь существует теория о хитром и осторожном Анастасе. Ведь потом он точно так же занял компромиссную позицию, когда Хрущёв громил Маленкова, и далее точно так же возражал, когда, в свою очередь, громили самого Хрущёва. Однако все эти три ситуации лучше рассматривать отдельно друг от друга. Как сказал мне по этому поводу внук Микояна Стас Намин, «хитрость — это ум глупца». А что касается осторожности — в политической деятельности она является благом. Умение Микояна искать и находить компромиссные решения впоследствии повлияла на ход всей мировой истории, мы докажем это позже. Наконец Микоян отнюдь не всегда придерживался компромиссной позиции.