Поначалу дискредитированным оказался сам Аденауэр, и по собственной вине. После того как Эрхард отозвал свою кандидатуру, канцлер опрометчиво заявил, что сам теперь хочет стать федеральным президентом, но он быстро понял, что полномочий у президента меньше, чем у канцлера. Хуже всего было то, что, уйди сейчас Аденауэр со своего поста, преемником во дворне Шаумбург станет со всей вероятностью Эрхард. Так что он канцлер отозвал свою кандидатуру якобы из-за напряженного политического положения в мире — предстоял еще один берлинский кризис, что не позволяет вверить судьбу Германии в неопытные руки. Это было открытое объявление войны Эрхарду. Тот как раз находился в США и не мог толком защищаться. Общественности было ясно, что Эрхард был жертвой кампании, организованной Аденауэром. Суровая критика не заставила себя ждать. С этих пор нерушимый до сей поры авторитет Аденауэра был надолго подорван.
Но фарс вокруг президентского поста был всего лишь началом конца эры Аденауэра. Дальше было хуже. 13 августа 1961 года Западный и Восточный Берлин были разделены Берлинской стеной, это закрепило существование двух германских государств. Настал час большого крушения немецких политических иллюзий. Политика Аденауэра, призванная содействовать воссоединению Германии при помощи интеграции с Западной Европой и «политики силы», провалилась. За это и канцлер, и его партия были наказаны в сентябре 1961 года потерей абсолютного большинства голосов на выборах в бундестаг.
Теперь уже открыто зазвучали призывы к свержению Аденауэра. Этого требовал уже не только партнер коалиции — СДП. Звучали такие призывы: «Вместе с ХДС, но без Конрада Аденауэра!» или «Кто хочет Эрхарда, голосуйте за СДП!» Видеть Эрхарда в качестве канцлера хотели теперь не только политики из рядов ХДС. Вне себя от ярости, Аденауэр должен был признать, что ХДС добивался благосклонности избирателей как с помощью его имени, так и с помощью имени Эрхарда: «Аденауэр, Эрхард и команда». Рядом с изображением канцлера на одном плакате красовался теперь и портрет Эрхарда. Несмотря на все усилия канцлера, позиция Эрхарда стала сильнее, но он сам все еще страшился низвержения канцлера. «Хороший человек с озера Тегернзее» отказался от открытого голосования против Аденауэра, и внутриполитическая попытка путча была отменена. Аденауэру удалось стать канцлером еще раз.
Однако было ясно, что теперь это его последний срок на этом посту. В 1962 году Аденауэру пришлось из-за аферы с журналом «Шпигель» пообещать в наступающем году подать в отставку. В оставшиеся двенадцать месяцев Аденауэр, конечно же, целенаправленно искал альтернативу Эрхарду. Он последовательно пробовал сделать своим преемником Франца Этцеля, министра финансов с 1957 но 1963 год; Генриха Кроне, председателя фракции ХДС и министра по особым делам, находящегося с Аденауэром в очень хороших отношениях; Ойгена Герстенмайера, бывшего много лет федеральным президентом; в конце концов, Герхарда Шрёдера, бывшего министра внутренних дел и министра иностранных дел с 1961 года. Однако у всех кандидатов был один изъян — ни у кого из них не было такой большой популярности, как у федерального министра экономики. Уровень популярности Эрхарда был все еще сенсационно высоким. Когда Аденауэр услышал последние результаты опросов общественного мнения, он желчно и с плохо сдерживаемой злостью проговорил свое угрюмое пророчество: «Когда-нибудь и его я сведу к нулю».
Канцлеру это не удалось. Выборы в земельные парламенты в 1963 году еще раз отчетливо продемонстрировали, что Людвиг Эрхард непобедим в качестве тягловой силы в предвыборной кампании и, соответственно, незаменим для ХДС. Эрхард гарантировал партии голоса избирателей, только это и шло в расчет. Так, весной 1963 года фракция ХДС объявила Эрхарда официальным преемником канцлера, несмотря на все предостережения и откровенный протест своего председателя и действующего канцлера Аденауэра.
Когда федеральный президент Ойген Герстенмайер во время официальной церемонии прощания с Конралом Аденауэром в бундестаге сравнил того с Бисмарком, это прозвучало фальшиво. Сложно было бы придумать более неуместное сравнение: «В отличие от Вас, он уходил со своего поста с неудовольствием, как бы блистательно не выглядело его прощание». Именно нежелательная, выглядящая фальшиво и губительно отставка была самым главным сходством между рейхсканцлером из Пруссии и рейнским бундесканцлером. «Я ухожу с тяжелым сердцем» — сказал Аденауэр прямо и открыто, ни секунды не сомневаясь. Ничто не изменилось в его негативном отношении к Эрхарду. Его неприязнь только усилилась, и это не сулило будущему Эрхарда ничего хорошего.