В июне 1957 года против Хрущёва выступит так называемая антипартийная группа, костяком которой были бывшие соратники Сталина, чьё влияние в стране стало заметно уменьшаться после XX съезда. В неё входили члены Президиума ЦК КПСС Молотов, Каганович, Маленков, Булганин, Первухин, Сабуров. На их сторону встал и Ворошилов. Оказал ей лояльность и главный редактор газеты «Правда» Дмитрий Тимофеевич Шепилов. На заседании Президиума ЦК Хрущёву были предъявлены многочисленные претензии, которые были достаточно обоснованными. Семью голосами против четырёх Президиум принял решение рекомендовать пленуму ЦК сместить Хрущёва с поста первого секретаря.
На июньском (1957 года) пленуме ЦК КПСС антипартийная группа не получила поддержки и была осуждена. В докладе на ХХII съезде КПСС Хрущёв скажет, что ожесточённое сопротивление пыталась оказать осуществлению ленинского курса, намеченного XX съездом партии, фракционная антипартийная группа, в которую входили Молотов, Каганович, Маленков, Ворошилов, Булганин, Первухин, Сабуров и примкнувший к ним Шепилов. Но у неё ничего не получилось.
Ворошилов вовремя сориентировался в обстановке. Накануне пленума он понял, что большинство членов ЦК не согласятся с позицией президиума, и перешёл в стан Хрущёва. Он неожиданно выступил на пленуме с осуждением своих недавних союзников. Поэтому фамилия Ворошилова не была упомянута в решениях пленума об антипартийной группе. В начале июля Климент Ефремович, будучи в Ленинграде, на собрании партактива, ещё раз осудил «гнусную попытку» Молотова, Маленкова и Кагановича подняться против «ленинского руководства» ЦК КПСС в лице товарища Хрущёва.
И всё-таки Ворошилов понимал, что плодотворной совместной работы с Никитой Сергеевичем у него не будет. Проявленная в июне 1957 года попытка встать в оппозицию по отношению к Хрущёву не прошла ему даром. В 1960-м Ворошилову было предложено подать в отставку с должности председателя Президиума Верховного Совета СССР. Уход его
Вместо Ворошилова председателем президиума был избран Леонид Ильич Брежнев.
17—31 октября 1961 года состоялся XXII съезд КПСС. На этом съезде Хрущёв в отчётном докладе, говоря о фракционной антипартийной группе, уже открыто назвал Ворошилова её участником. Вслед за ним все другие ораторы как по команде повели огонь по Ворошилову. Особенно критично выступил Дмитрий Степанович Полянский — председатель Совета министров РСФСР. В унисон Полянскому с обличительными нападками обрушился на престарелого маршала Александр Николаевич Шелепин, занимавший в то время пост председателя Комитета государственной безопасности.
На девятнадцатом заседании съезда, 27 октября, было зачитано покаянное заявление Ворошилова XXII съезду, в котором он утверждал, что «не имел никакого понятия о фракционных действиях тогдашнего Президиума ЦК». Ворошилов писал, что он глубоко осознал тот огромный вред, который могла нанести партии и стране антипартийная группа Молотова, Кагановича, Маленкова и других. Он решительно осуждает её пагубную деятельность и сожалеет о допущенных им ошибках.
Подвергся Ворошилов на съезде и нелицеприятному обвинению за участие в репрессиях 1937—1938 годов против военных кадров.
Подводя итог прениям, Хрущёв хотя и поддержал оппонентов Ворошилова, всё же призвал съезд проявить к нему великодушие. Он сказал: «Я верю, что он искренне осуждает свои поступки и раскаивается в них». Эти слова вызвали аплодисменты.
Ворошилова простили за все его грехи, он не был исключён из партии. Однако в новый состав ЦК уже не избрали, не вошёл он и ни в какие другие руководящие органы партии. Его отрешили от всякой общественной и политической деятельности...
XXII съезд КПСС стал триумфом Хрущёва. Он уверовал после съезда в незыблемую прочность своего положения, ему казалось, что крепко держит в руках главные вожжи власти: партийной — он первый секретарь ЦК, и государственной — он глава Совета министров СССР. Но, как покажет ближайшее будущее, он глубоко заблуждался.
14 октября 1964 года пленумом ЦК КПСС Никита Сергеевич Хрущёв был освобождён от обязанностей первого секретаря ЦК КПСС и председателя Совета министров СССР. Леонид Ильич Брежнев стал первым секретарём, Алексей Николаевич Косыгин — председателем Совета министров.
В правление Брежнева не было ни дальнейших разоблачений культа личности, ни его возрождения. Новый первый секретарь, а с 1966 года генеральный секретарь ЦК КПСС, решил не накалять страсти в обществе по поводу столь противоречивой и резонансной темы.
Весна 1959 года была для Ворошилова чёрным черна. Умирала любимая Гиля.