Но окончательный крах карьеры Геринга наступил позже, уже во время войны Германии с СССР. Дальнейшее охлаждение между Гитлером и Герингом было вызвано неспособностью авиации обеспечить доставку грузов армии во время Сталинградской битвы. Фюрер задал своему рейхсмаршалу вопрос: сумеет ли тот перебрасывать армии генерала Паулюса 500 тонн грузов в сутки? Геринг, который не был гениальным военачальником, но разбирался в летном деле, ответил, что эта задача может быть выполнена только в том случае, если погода постоянно будет летной и у летчиков Люфтваффе будут в распоряжении надежные аэродромы. После этой беседы, по словам Геринга, Гитлер поручил фактическое командование авиацией фельдмаршалу Мильху, который получил право распоряжаться воздушными силами по своему усмотрению.
Огромные потери самолетов, гибель опытных летчиков, явная неспособность Германии обеспечить поддержание военной промышленности из-за постоянной нехватки сырья и нескоординированных действий руководства вызывали у Геринга гнетущее состояние. Уже в 1942 году он сказал Шпееру: «Если после этой войны Германия сохранит границы 1933 года, можно будет сказать, что нам крупно повезло».
Очередным ударом по карьере Геринга стало назначение А. Шпеера имперским министром вооружений и боеприпасов. Рейхсмаршал все чаще удалялся от дел, предпочитая проводить время с семьей и заниматься вывозом с оккупированных территорий предметов искусства. К лету 1944 года потери Люфтваффе перешли критическую черту, что стало причиной прямого обвинения Геринга в неспособности организовать противовоздушную оборону рейха. Нельзя сказать, что обвинения были беспочвенны. Рейхсмаршал вел себя слишком неосмотрительно и вызывал даже у симпатизировавших ему людей недоумение. То он решил отправиться на приближавшуюся линию фронта, и лишь прямой приказ Гитлера заставил его вернуться в бункер и присутствовать на совещаниях. То в разгар успешных действий авиации союзников, когда на Берлин и Дортмунд сбрасывали тонны бомб, Геринг уезжал в Каринхалл, чтобы лично проследить за отправкой поезда с коврами, картинами и скульптурами. Узнав о последнем инциденте, Гитлер назвал Геринга сибаритом и добавил: «Следует постепенно лишить его всех полномочий, сделать его обыкновенной китайской вазой».
Герингу оставалось лишь наблюдать за тем, как рушится его мир. Между тем, интриги, которые были характерны для окружения фюрера, с приближением краха лишь обострялись. Геринг не имел настоящих друзей. Кроме того, его блистательный карьерный взлет в свое время вызвал раздражение практически у всех приближенных Гитлера. Теперь он был особенно уязвим, чем не преминули воспользоваться его противники.
Формальным поводом для смещения бывшего любимца Гитлера стала роковая телеграмма от 23 апреля 1945 года. Геринг, который предвидел разгром Германии, написал фюреру: «Мой Фюрер, генерал Коллер сегодня дал мне краткий инструктаж на основе сообщений, предоставленных ему генерал-полковником Йодлём и генералом Христианом, в соответствии с которыми Вы ссылались на определенные решения касательно меня и подчеркнули, что в том случае, если переговоры станут необходимыми, мне отсюда вести их будет легче, чем Вам из Берлина. Эти взгляды были настолько неожиданными и серьезными для меня, что я предположил, что в случае отсутствия ответа от Вас до 22:00 я буду обязан считать, что Вы потеряли свободу действий. Я просмотрю условия Вашего указа и приму меры для благополучия народа и Отечества. Вы знаете, что я чувствую по отношении к Вам в этот тяжелейший час моей жизни. У меня нет слов, чтобы выразить свои чувства. Да хранит вас Бог, и пусть, несмотря ни на что, он поможет Вам приехать сюда как можно скорее.
Ваш верный Герман Геринг».