Объяснения между Гитлером и Гальдером протекали во враждебной и изматывающей нервы атмосфере. Так как Гальдер не уступал и резко критиковал оперативные планы Гитлера, разразился тяжелый кризис руководства и доверия. 24 сентября 1942 года Гитлер уволил Гальдера в возрасте 58 лет. Этот шаг Гитлер мотивировал тем, что нервы обоих истощены и что Гальдер пессимист по натуре, «который всегда был только тормозом», так что дальнейшее сотрудничество привело бы его к нервной перегрузке. К тому же важнейшая задача заключается в воспитании офицерского корпуса в духе фанатичной веры в идеи национал-социализма, чего Гальдер не способен обеспечить. Лишившийся иллюзий Гальдер после долголетней деятельности в качестве начальника генерального штаба понял, что в этом положении он был изолирован и один противостоял Гитлеру. Не получил он поддержки и от своих товарищей-генералов. Он особенно остро переживал из-за того, что генерал-фельдмаршал Кейтель и другие генералы и офицеры в верховном командовании вермахта позорно бросили его на произвол судьбы; он с горечью покинул свою должность.
Ввиду постоянных трений и споров между Гитлером и Гальдером увольнение начальника генерального штаба в некоторых военных руководящих органах воспринималось даже как «освобождение», между тем офицеры и знакомые времен общих планов переворота 1938–1940 гг. и те, кто видел в нем гаранта «нравственной верности в генеральном штабе», «глубочайшим образом» сожалели об его уходе. По наблюдениям современников Гальдер воспринимал холодный и оскорбительный способ его увольнения ввиду своей четырехлетней, частично связанной с большими успехами деятельностью в качестве начальника генерального штаба как неподобающий и недостойный. В конечном счете он понял, что начальник генерального штаба в национал-социалистском государстве далеко не имел того влияния, какое ему приписывалось за границей и немецкой общественностью, вспоминая о былом положении «начальника великого генерального штаба» кайзеровской империи. На политику он не имел вообще никакого влияния. Должность начальника генерального штаба немецких сухопутных войск переоценивалась прежде всего за границей. От бывшей «созданной великим Мольтке высоты» остались только воспоминания, как впоследствии сказал генерал Бек.
Ввиду явно видимого ожесточения и разочарования Гальдера остается открытым вопрос о том, действительно ли оп, как утверждал впоследствии, намеренно спровоцировал свое увольнение, постоянно противореча Гитлеру, чтобы не быть больше ответственным за его руководство операциями. Если это утверждение правильно, то возникает вопрос, почему оп был так сильно озлоблен из-за своего увольнения, как это неоднократно излагалось в послевоенных сообщениях. С другой стороны, можно вполне предположить, что в решении Гитлера в пользу раздвоения наступления он видел путь к быстрой военной катастрофе. Так как к этому комплексу вопросов для будущего поколения Гальдер не оставил никаких личных высказываний — скажем, в форме мемуаров, — то предположение, что он осознанно добивался своей отставки, не может быть, безусловно, доказано.
Характерно, что преемником Гальдера Гитлер выбрал молодого, рекомендованного Герингом и, по его мнению, «нерастраченного» генерал-майора из войскового главного штаба. Различия в карьере, стиле руководства и в отношении к Гитлеру между двумя начальниками генерального штаба вряд ли могли быть еще большими. Гальдер на этот выбор не имел никакого влияния. Замена его на генерала Цейцлера, который был на 11 лет моложе Гальдера, являлась одновременно выражением новой программы для генерального штаба и для высшего командования сухопутных войск, так как Гитлер, по показаниям Цейцлера, хотел видеть в начальнике генерального штаба «не советника в собственном смысле этого слова, а человека, который точно передает другим его мнения и приказы, поддерживает его идеи и ведет пропаганду за него и его руководство». По свидетельствам современников, по крайней мере при вступлении в должность, Цейцлер соответствовал этим ожиданиям. В отличие от Гальдера его считали «твердо верящим в Гитлера и энергичным человеком». О сомнениях в стиле руководства Гитлера Цейцлер не хотел ничего слышать; в фюрера нужно верить, заявил он в своей программной речи при вступлении в должность. Однако с развитием кризиса под Сталинградом и накоплением ошибок в командовании восхищение Цейцлера Гитлером быстро поблекло, так что вскоре отношения между диктатором и его новым начальником генерального штаба снова были омрачены серьезными разногласиями.
То, что Гальдер с тяжелым сердцем покидал свой пост, говорил и Цейцлер, который при передаче дел 25 сентября имел с ним лишь один короткий разговор. При этом у Гальдера якобы «стояли слезы в глазах» и он старался «как можно быстрее» провести передачу всех дел.