Соответственно, и в командовании сухопутных войск не возникло серьезных возражений против решения внезапно напасть на Советский Союз. Безответными остались тщательно составленные аналитические записки, как, например, предназначенные в октябре 1940 года для Гальдера записки советника германской дипломатической миссии при посольстве в Москве фон Вальтера, который предостерегал от экономических и общестратегических последствий новой войны. Можно констатировать, что Гальдер, в отличие от ситуации перед началом похода на запад, не усматривал в решении Гитлера никаких исходных возможностей для формирования новой действенной военной оппозиции против Гитлера.
В то время когда шло планирование войны на востоке, Гальдер снова связался с многими противниками национал-социалистского режима. Когда в ноябре 1940 года старый знакомый Гальдера патер иезуитов кронпринц Георг Саксонский вместе с другими членами ордена попытался выяснить у начальника генерального штаба, какими средствами для устранения Гитлера располагает главное командование сухопутных войск, Гальдер дал понять, что воспитанные в духе подчинения государственному руководству сухопутные войска не могут быть использованы для этого. До более тесной связи между различными группами сопротивления и главным командованием сухопутных войск дело не дошло.
Вместо этого Гальдер по собственной инициативе взял на себя оперативную разработку намечаемой войны на востоке, когда впервые узнал от Браухича и статс-секретаря фон Вайцзеккера, что взгляд Гитлера «твердо направлен на восток». Он не хотел, чтобы ему еще раз, как в случае западного похода, пришлось бы предоставить непродуманный, составленный наспех временный план операции, который вновь вызвал бы критику со стороны диктатора и других генералов. Так как он сам одновременно занимался разработкой возможного вторжения в Великобританию, то летом 1940 года Гальдер приказал генералам и сотрудникам в генеральном штабе составить первые наброски, координацию которых под руководством Гальдера с сентября обеспечил вновь назначенный обер-квартирмейстер и заместитель начальника генерального штаба генерал-лейтенант Паулюс, так что после безрезультатного визита советского комиссара иностранных дел Молотова Гитлер 18 декабря 1940 года подписал план «Барбаросса».
Привлечение способных сотрудников к самостоятельной проработке также и крупных боевых задач демонстрирует то, что Гальдер как начальник генерального штаба не был сторонником авторитарного стиля руководства. Такой способ стимулирования молодых офицеров, с одной стороны, позволил добиться совместных успехов в генеральном штабе, а с другой стороны, вызвал критику со стороны других командующих, как, например, будущего генерал-фельдмаршала фон Манштейна, который обвинял Гальдера в том, что тот держал в своих руках всю разработку и подготовку вплоть до проведения похода.
Согласно директиве № 21 от 18 декабря «Советская Россия должна быть разгромлена в ходе быстрой военной кампании» русские сухопутные войска должны быть уничтожены «решительными операциями с дальним продвижением танкового клина» и как конечная цель должна быть достигнута линия Волга — Архангельск. Операции трех раздельных групп сухопутных войск проводились соответственно планам, разработанным генеральным штабом под руководством Гальдера. При этом должны были быть захвачены Ленинград и Донецкий бассейн; далее быстрый захват Москвы рассматривался как решающий успех.