Йодль был грамотным специалистом и храбрым солдатом, но его неукротимый энтузиазм и преданность Гитлеру и НСДАП создали между ним и другими офицерами глубокую пропасть, которая так и не была преодолена. В 1935 году Йодль, ставший к тому времени оберстом, получил назначение в управление сухопутных войск. А когда Гитлер создал Главное командование сухопутных войск (ОКВ), Йодль возглавил управление национальной обороны. Несколько месяцев спустя, в марте 1938 года, у генерал-лейтенанта Макса фон Вибана из-за боязни перерастания австрийского кризиса в войну случился нервный срыв. И место начальника оперативного отдела ОКВ занял Йодль.
Оберст Йодль с энтузиазмом приступил к выполнению своих новых обязанностей и подверг резкой критике армейских генералов (таких, как Людвиг Бек), которые после речи Гитлера 10 августа заявили, что Германия к войне еще не готова. Йодль, в своем дневнике, назвал поведение генералов "малодушным". Еще добавил, что им стоило бы обращать больше внимания на вопросы военной стратегии, а не обсуждать политические решения. Далее он отметил, что видит настоящую трагедию в том, что, когда вся нация сплотилась в поддержку фюрера, исключение составили только армейские генералы. Он сурово осуждал генералов за то, что они не признавали Гитлера "гениальным"{13}. Несомненно, преданность и вера Йодля в Гитлера не знали границ, он искренне считал фюрера непогрешимым.
Хотя Йодль полагал, что для разработки военных планов Гитлер будет использовать оперативный отдел ОКВ, фюрер вместо этого обратился к ОКХ (Oberkommando des Heers - Главному командованию армии). Тем временем в 1939 году Йодль получил звание генерал-майора и командование 44-й пехотной дивизией. Страстный альпинист, он обрадовался, когда в начале октября 1938 года генерал Кейтель (шеф ОКВ) назначил его командующим 2-й горнострелковой дивизией{14}.
23 августа 1939 года Кейтель приказал Йодлю вернуться в ОКВ на должность начальника оперативного отдела; начиналось планирование нападения на Польшу ("план Вейс"). На этом посту Йодль остался до конца войны. В 1940 году он получил повышение и стал генералом артиллерии, а 30 января 1944 года (в день 11-й годовщины прихода нацистов к власти) Йодль получил чин генерал-оберста, перепрыгнув при этом звание генерал-лейтенанта. Грандиозное впечатление произвела на Йодля его первая личная беседа с Гитлером, состоявшаяся в поезде фюрера во время Польской кампании. Он остался верен Гитлеру до конца войны.
Ввиду того, что для разработки и проведения кампаний против Польши (1939) и Франции (1940) Гитлер обратился к ОКХ, Йодль принял решение поддерживать Гитлера во всех вопросах, в которых у того появлялись разногласия с ОКХ. По сообщению его представителя Вальтера Варлимонта, в мае 1940 года именно благодаря Йодлю 1-я горнострелковая дивизия, без согласия со стороны ОКХ, была направлена на юг (во исполнение приказа Гитлера). Это прямое нарушение принципа единоначалия является ярким доказательством как безоговорочной преданности Йодля фюреру, так и его отчаянного желания (разделяемого с ним его начальником Кейтелем) передать всю полноту власти ОКВ.
Операция "Везерюбунг" (вторжение в Норвегию) наконец-то дала ОКВ возможность использовать прямой оперативный контроль. Фюрер поручил проведение Везерюбунг" ОКВ, назначив генерала от инфантерии Николауса фон Фалькенхорста командующим операцией и XXI группой{15}. По существовавшим правилам такие назначения осуществлял ОКХ, представляя их затем Гитлеру для формального одобрения. Но Гитлер издал приказ, согласно которому Фалькенхорст должен был подчиняться непосредственно ему и его штаб должен был быть укомплектован офицерами всех трех служб. Вследствие этого "Везерюбунг" попала под прямое командование Гитлера.
Операция была спланирована Йодлем и его штабом. Германское вторжение в Норвегию стало для Британии (которая сама собиралась оккупировать эту страну) полной неожиданностью. Хотя операция прошла успешно, все же не удалось избежать очень напряженной ситуации после того, как британцы уничтожили 10 германских эсминцев, прикрывавших высадку альпийских стрелков генерал-майора Эдварда Дитля в Нарвике. Кроме того, 14 апреля к северу от Нарвика британцы высадили большой десант. Обеспокоенный Гитлер приказал Дитлю срочно отступить на юг.