Мероприятия ефрейтора, как презрительно армейская верхушка именовала Гитлера, направленные на захват руководства армией, распространение партийного влияния в офицерском корпусе, установление через СС и гестапо наблюдения за высшими офицерами затрагивали весь офицерский корпус и не могли не вызвать оппозиционных настроений. А отставка Фритче и Бека в 1938 году, как представителей наиболее разумной и умеренной политики, пользовавшейся в армии огромным авторитетом, не оставила больше никаких сомнений в истинных целях и лживости поведения Гитлера.
В кругах высших офицеров уже тогда были широко распространены мысли о необходимости устранения Гитлера, ибо он представлял колоссальную опасность для Германии и всего немецкого народа. Такие идеи высказывали представители высшего генералитета фон Браухич, фон Клюге, Бек, Гальдер, Фромм. Однако они понимали, что Гитлер сумел так подчинить своему влиянию массы и разжечь у них иллюзии на лучшее будущее, что выступления военных не нашли бы поддержки у населения.
В 1939 году Гитлер начал войну. Первые этапы ее создавали впечатление, что она имеет локальный характер, и давали надежду на ее скорое прекращение. Это впечатление усиливалось договором о дружбе с Советским Союзом, подписание которого немецкий народ воспринял с огромным воодушевлением. Вполне обоснованные опасения затягивания войны, перерастания ее в мировую, и, как следствие этого, полной изоляции Германии заглушались надеждами на то, что Гитлер не лишен здравого смысла и успеет все вовремя прекратить.
Решающим же моментом, определившим создание в армии антигитлеровской организации, явилась война с Советским Союзом. Нападение Гитлера на Советский Союз народ принял с изумлением, а военные — с большой тревогой. Это предприятие было слишком рискованным, чтобы его можно было оправдать. Именно в 1941 году у армейской верхушки исчезли всякие иллюзии о способности Гитлера вывести Германию из тупика. Генерал-полковник Бек при известии о начале войны с СССР заявил: «Мы доверили судьбу Германии авантюристу. Теперь он воюет со всей Вселенной». Генерал-фельдмаршал Вицлебен, один из авторитетнейших немецких военачальников, по тому же поводу говорил о Гитлере, не стесняясь свидетелей: «Это совершенно сумасшедший парень». Полковник Кребс, бывший помощник военного атташе в Москве, отзывался о начале войны следующим образом: «Эти люди, видимо, не имеют никакого представления о состоянии и силе России. Война с Россией — гибель Германии». Ранее близкий к Гитлеру профессор Берлинского университета доктор Йессен открыто заявлял: «Гитлер — преступник, он ведет Германию к гибели. Гитлер — враг народа. Война с Россией не имеет себе подобных».
Таким образом, в 1941 году в Берлине образовалась нелегальная организация, ставившая своей целью устранение Гитлера, уничтожение созданной им политической системы, прекращение войны и заключение компромиссного мира. Ядром организации являлись бывший начальник генерального штаба генерал-полковник в отставке Бек, начальник управления военной разведки и контрразведки (абвера) адмирал Канарис, начальник организационного управления Главного штаба сухопутных сил генерал-фельдмаршал Вицлебен, генерал пехоты фон Фалькенхаузен, ближайший помощник адмирала Канариса генерал-майор Остер, бургомистр города Лейпцига Гёрделер и пользовавшийся большим авторитетом в научных и промышленных кругах Германии профессор Йессен.
Генералы Вицлебен, Фалькенхаузен и Бек по общему решению практической деятельностью не занимались, а как наиболее авторитетные лица были намечены в состав будущего правительства. Начальник абвера адмирал Канарис также держался в тени. Практическое руководство деятельностью организации осуществляли генералы Остер, Ольбрехт и профессор Йессен.
Генералу Ольбрехту должность начальника общего управления Главного командования сухопутных вооруженных сил открывала доступ в самые широкие круги офицерства и в резервные армии. Соответственно, генерал Ольбрехт ведал всей организационной работой.
Генерал Остер, являясь правой рукой адмирала Канариса и действуя под его непосредственным руководством, располагал значительными личными связями среди офицеров. Поэтому на генерала Остера было возложено в организации руководство вербовочной работой и создание заговорщических групп в военных округах.
Профессор Йессен являлся связующим звеном между военным и гражданским секторами организации. По мобилизации он находился на службе в штабе генерал-квартирмейстера.
Все военные члены организации являлись сторонниками ориентации на Восток. Особенности политического строя Советского Союза не рассматривались ими как препятствие для установления и развития нормальных политических и экономических отношений между Германией и СССР.