Ноябрьская революция 1918 года принесла Роммелю участие в подавлении выступлений коммунистов в Рурском промышленном районе. С 1919 года Роммель продолжал служить в рейхсвере. Сначала он был командиром роты, позднее взялся за преподавательскую работу. В 1937 году вышла книга Роммеля «Пехота наступает», которая привлекла внимание фюрера.
Во время Польской кампании Роммель получил назначение коменданта полевой ставки Гитлера, затем он возглавил 7-ю танковую дивизию 15-го корпуса, которая продвигалась в авангарде немецких частей, атаковавших территорию Франции весной 1940 года. Французская кампания проходила тяжелее Польской. Сначала французские солдаты и английский экспедиционный корпус оказывали упорное сопротивление. В результате английской контратаки под Аррасом 21 мая Роммель чуть было не попал в плен.
Отразив контрудар англичан, 7-я дивизия выступила через Ла-Бассе к Лиллю. Германское танковое войско чуть было не отрезало значительную часть английского экспедиционного корпуса. Избежать окружения 3-й английской дивизии, которой командовал генерал Монтгомери, помогло лишь чудо.
Форсировав Сомму, части Роммеля начали движение к Сене, отразив и оставив позади левое крыло врага. Английские и французские солдаты массово стали сдаваться в плен. Дивизия Роммеля первой достигла Ла-Манша и после эвакуации британской армии из Дюнкерка вошла в Шербур.
В январе 1941 года Эрвин Роммель, уже в звании генерал-майора, был назначен командующим немецким Африканским корпусом. Этот корпус отбыл в Африку выполнять важную задачу — оказать поддержку союзным итальянским войскам, находившимся на грани разгрома из-за успешных действий англичан.
Во второй половине февраля Роммель прибыл в Триполи, где у него состоялась встреча с генералом Гарибольди, новым командующим итальянскими войсками в Африке. Генерал Грациани, занимавший это место до Гарибольди, ушел в отставку в результате тяжелых поражений итальянской армии.
Перед Африканским корпусом и Роммелем была поставлена задача, заняв оборону, остановить шествие английских войск. Но Эрвин Роммель не принял прямых указаний ОКВ и, вместо того чтобы довольствоваться обороной, перешел в контрнаступление. Под началом отважного генерала немногочисленные немецкие войска отбили англичан к Киренаике. Роммель блокировал хорошо укрепленный англичанами Тобрук, однако захватить его сразу не смог.
В мае — июне 1941 года английскими войсками были проведены две операции по наступлению, которые принесли им поражение. Эрвин Роммель за успех своих войск получил новое звание. Но победы Роммеля не только не радовали германское командование, но даже вызывали раздражение. Гальдер скомандовал своему заместителю Паулюсу изучить деятельность отважного Роммеля, получившего к тому времени прозвище «Лис пустыни». Паулюс еще раз настойчиво рекомендовал Роммелю перейти к обороне и в будущем не начинать наступление.
Но Роммель не мог терпеть пассивной обороны. К тому же он игнорировал приказы как итальянского командования в Северной Африке, формального его начальства, так и самого Муссолини.
Имея в распоряжении лишь две дивизии, Роммель вырывал победу там, где более многочисленные и лучше вооруженные итальянцы терпели поражение за поражением. Танки Роммеля не боролись с бронетехникой неприятеля, а в первую очередь были средством прорыва с заходом в тыл, за линию обороны врага. С английскими танками он предпочитал бороться при помощи минных заграждений и противотанковых ружей.
Роммель добился того, что на Африканском театре военных действий преобладало поддержание маневренности танковых подразделений, захват же территорий им был отодвинут на второй план.
В ноябре генерал Окинлек, занявший место генерала в отставке Уэйвелла, провел наступательную операцию под названием «Крестоносец». Войска англичан сумели отбить немцев от Тобрука и взялись за подготовку следующих сражений, планируя ударить в направлении Триполи.
Однако и Роммель смог тогда пополнить и довооружить свои войска, 2-й воздушный флот Кессельринга изгнал британский флот из Средиземного моря, и немецкие транспорты получили возможность без труда плавать в Триполи.
Роммель отправил свои танковые части в новое наступление 21 января 1942 года. Пополнив свои запасы из захваченных вражеских складов, они смогли продолжить наступательное движение. Итальянцы отказались участвовать в операции, и все же Роммель уже на восьмой день взял порт Бенгази и продолжил наступление до Эль-Газала, где 7 февраля англичане сумели остановить его. Английские планы захвата Ливии рассыпались в прах, а Эрвин Роммель получил звание фельдмаршала.