В сентябре 1943 г. Гальдер использовал различные возможности, чтобы установить контакты с возможными противниками Гитлера в Баварии. При этом произошла встреча с баварским наместником рейха генералом Францем Риттером фон Эппом, которую организовали его адъютант майор Караччиола-Дельбрюк, полковник Вильгельм Арендте, 1-й офицер генерального штаба при штабе главнокомандующего во Франции, и генерал Карл Генрих фон Штюльпнагель. Эта встреча должна была укрепить критическую позицию Риттера фон Эппа по отношению к национал-социалистскому режиму и привлечь его к планам переворота в кругу Штюльпнагеля и генерал-квартирмейстера Вагнера. По высказываниям Гальдера, встреча в загородном доме семьи Арендте в Обер-Грайнау под Гармпшем в начале сентября привела скорее к пессимистическому выводу, что генерал Риттер фон Эпп «слишком стар» и «слишком нерешителен» и вряд ли сможет, в случае попытки переворота, стать увлекающей за собой и осторожной лидирующей личностью для военного округа VII в Баварии. Помимо этого, был установлен контакт с оппозиционно настроенным последним баварским послом в Берлине Францем Шперром, который в Мюнхене поддерживал связь с многими противниками Гитлера. С ним, бывшим баварским офицером генерального штаба времен первой мировой войны, Гальдер был знаком с 1912 года, когда оба были еще солдатами. Зондирующий разговор состоялся в начале октября 1943 года в Мюнхене, в нем принял участие также майор Караччиола-Дельбрюк. Мюнхенских знакомых интересовала оценка Гальдером военного положения и новые данные в военных кругах о возможной попытке переворота. В обоих случаях ответ Гальдера был малоободряющим. Шперр искал союзников и помощников, которые в случае военного крушения рейха после удавшегося вторжения союзников были бы готовы взять на себя ответственность за военные средства насилия в Баварии. По собственному признанию Гальдера, он заявил о своей готовности. Но дальнейшее сотрудничество не состоялось, так что все осталось при «добром намерении» и принципиальном обещании Гальдера.
Накануне 1944 года Гальдер попытался с помощью дружившего с ним соборного викария д-ра Альбрехта Редера из Шпейера узнать о состоянии военной оппозиции против Гитлера. С согласия Гальдера викарий в декабре 1943 года и в январе 1944 года посетил отстраненных от должностей генерал-фельдмаршалов фон Вицлебена и фон Браухича в Берлине и в Болькепхейме в Силезии, а также генерала фон Штюльппагеля в Потсдаме. Разведка Редера, но его собственной оценке, была «положительной», но определенного согласия на акцию он от заговорщиков не привез, так как его собеседники не находились более в центре офицеров, готовых на акцию против Гитлера, которые концентрировались вокруг генерал-полковника в отставке Бека. Так как Редер был арестован весной 1944 года, то Гальдеру были неизвестны дальнейшие цели заговорщиков.
В то время как Гальдер в своем верхнебаварском пристанище ввиду его ограниченных возможностей был лишен информации о планах военной оппозиции в «ставке фюрера» и в Берлине, служба безопасности Гиммлера оценивала его как «государственного врага» национал-социалистского режима. Министр пропаганды Геббельс отметил 8 ноября 1943 года в своем дневнике, будто Гиммлер сообщил ему, что Гальдер принадлежит к кругу врагов государства, который «через голову фюрера стремится установить связь с англичанами». Геббельс считал такого рода деятельность «дилетантской» и «неопасной», но не следует «терять их из виду». Соответственно этому за Гальдером продолжали наблюдение. Генерал-полковник был подозрителен национал-социалистам еще и потому, что во многих британских листовках-брошюрах, сброшенных на Германию с марта по ноябрь 1943 года, он был представлен как «предостерегающий» от мании величия Гитлера, и поэтому уволенный со своей должности. То, что Гальдер находился под наблюдением, знали: заговорщики в Берлине, примыкавшие к Беку, Герделеру и Штауффенбергу, так. что они осознанно избегали контакта с бывшим начальником генерального штаба, чтобы не оставлять ненужных следов конспиративной деятельности.
Помимо общих намеков, которые он получал «то там, то здесь», Гальдер был лишен более точной информации о группе покушения, в которую входили Штауффенберг, Ольбрихт, Тресков и Мерц фон Квирнхейм, так что он не был посвящен в план переворота Штауффенберга, с которым у него в то время уже не было никаких контактов. Он и не встал бы на их сторону, так как, по собственному признанию, отверг «политическое убийство как средство борьбы против Гитлера». Покушение Штауффенберга на диктатора 20 июля 1944 года он рассматривал как своего рода «панику перед закрытием ворот», обусловленную отчаянным положением. Как и многие другие, Гальдер был поражен этой мужественной акцией. Впоследствии он резко критиковал организационные недостатки и ошибки руководителей этой попытки путча, но в то же время о ее действующих лицах всегда отзывался с особым человеческим уважением.