К началу операции «Барбаросса» из 3582 боеготовых германских танков 439 были Pz.IV. Следует подчеркнуть, что по принятой тогда в Вермахте классификации танков по калибру орудия эти машины относились к классу тяжелых. С нашей стороны современным тяжелым танком был КВ — в войсках их насчитывалось 504 единицы. Помимо численного, советский тяжелый танк имел абсолютное превосходство и по боевым качествам. Преимуществом перед немецкой машиной обладал и средний Т-34. Пробивали броню Pz.IV и 45-мм пушки легких танков Т-26 и БТ. Короткоствольная же немецкая танковая пушка могла эффективно бороться только с последними. Все это не замедлило сказаться на боевых потерях: в течение 1941 года на Восточном фронте было уничтожено 348 Pz.IV.
Со сходной ситуацией немцы столкнулись в Северной Африке, где короткая пушка Pz.IV оказалась бессильной перед мощно бронированными «матильдами». Первые «четверки» выгрузили в Триполи 11 марта 1941 года, и было их совсем не много, что хорошо видно на примере 2-го батальона 5-го танкового полка 5-й легкой дивизии. По состоянию на 30 апреля 1941 года, в батальон входили 9 Pz.I, 26 Pz.II, 36 Pz.III и только 8 Pz.IV (в основном машины модификаций D и Е). Вместе с 5-й легкой в Африке воевала 15-я танковая дивизия вермахта, располагавшая 24 Pz.IV. Наибольшего успеха эти танки достигали в борьбе с британскими крейсерскими танками А.9 и А.10 — подвижными, но легкобронированными. Главным же средством борьбы с «матильдами» стали 88-мм зенитные пушки, а основным немецким танком на этом театре в 1941 году был Pz.VI. Что касается Pz.IV, то в ноябре их в Африке осталось всего 35 штук: 20 — в 15-й танковой дивизии и 15 — в 21-й (преобразована из 5-й легкой).
Невысокого мнения о боевых качествах Pz.IV придерживались тогда и сами немцы.
Вот что пишет по этому поводу в своих воспоминаниях генерал-майор фон Меллентин (в 1941 году в звании майора он служил в штабе Роммеля): «Танк T-IV завоевал у англичан репутацию грозного противника главным образом потому, что был вооружен 75-мм пушкой. Однако эта пушка имела низкую начальную скорость снаряда и слабую пробивную способность, и, хотя мы и использовали T-IV в танковых боях, они приносили гораздо большую пользу как средство огневой поддержки пехоты». Более существенную роль на всех театрах военных действий Pz.IV стал играть только после приобретения «длинной руки» — 75-мм пушки KwK 40.
Первые машины модификации F2 доставили в Северную Африку летом 1942 года. В конце июля Африканский корпус Роммеля располагал всего 13 танками Pz.IV, из которых 9 были F2. В английских документах того периода они именовались Panzer IV Special. Накануне наступления, которое Роммель намечал на конец августа, в вверенных ему немецких и итальянских частях насчитывалось около 450 танков: в их числе 27 Pz.IV Ausf. F2 и 74 Pz.III с длинноствольными 50-мм пушками. Только эта техника представляла опасность для американских танков «Грант» и «Шерман», количество которых в войсках 8-й английской армии генерала Монтгомери накануне сражения у Эль-Аламейна достигало 40 %. В ходе этого во всех отношениях переломного для Африканской кампании сражения немцы потеряли почти все танки. Частично восполнить потери им удалось к зиме 1943 года, после отхода в Тунис.