К началу наступления на Западе 10 мая 1940 года Панцерваффе располагали 1110 танками Pz.II, 955 из которых находились в боеготовом состоянии. При этом количество танков в разных соединениях существенно различалось. Так, в 3-й танковой дивизии, действовавшей на фланге, их имелось 110, а в 7-й танковой генерала Э. Роммеля, находившейся на направлении главного удара, — 40. Против хорошо бронированных французских легких и средних танков «двойки» были практически бессильны. Они могли поразить машины противника только с близкой дистанции в борт или корму. Впрочем, танковых боев в ходе французской кампании было мало. Основная тяжесть борьбы с французскими танками легла на плечи авиации и артиллерии. Тем не менее, урон немцы понесли весьма существенный, в частности, они потеряли 240 танков Pz.II.
Летом 1940 года 52 «двойки» из состава 2-й танковой дивизии были переоборудованы в плавающие танки. Из них сформировали два батальона 18-го танкового полка 18-й танковой бригады (позже развернутой в дивизию). Предполагалось, что вместе с подготовленными для движения под водой Pz.III и Pz.IV «двойки» примут участие в операции «Морской лев» — высадке на побережье Англии. Обучение экипажей к движению на плаву осуществлялось на полигоне в Путлосе. Поскольку высадка на берега «Туманного Альбиона» не состоялась, Schwimmpanzer II перебросили на восток. В первые часы операции «Барбаросса» эти танки вплавь форсировали Западный Буг. В дальнейшем их использовали как обычные боевые машины.
Танки Pz.II 5-й и 11-й танковых дивизий принимали участие в боевых действиях в Югославии и Греции в апреле 1941 года. Два танка морем были доставлены на о. Крит, где они огнем и маневром поддерживали высадившихся 20 мая на этот греческий остров немецких парашютистов.
В марте 1941 года в 5-м танковом полку 5-й легкой дивизии германского Африканского корпуса, высадившейся в Триполи, имелось 45 Pz.II, главным образом модели «С». К ноябрю 1941 года, после прибытия 15-й танковой дивизии, число «двоек» на Африканском континенте достигло 70 единиц.
В начале 1942 года сюда доставили еще одну партию Pz.II Ausf.F(Tp) — в тропическом исполнении. Переброску этих машин в Африку можно объяснить, пожалуй, только их малыми массой и габаритами, по сравнению со средними танками. Немцы не могли не отдавать себе отчета в том, что против большинства танков 8-й английской армии «двойки» были бессильны, и лишь высокая скорость помогала им выходить из-под обстрела противника. Впрочем, несмотря ни на что, Pz.II Ausf.F использовались здесь вплоть до 1943 года.
По состоянию на 1 июня 1941 года в гитлеровской армии насчитывалось 1074 боеготовых танков Pz.II. Еще 45 машин находилось в ремонте. В соединениях, предназначенных для участия в операции «Барбаросса» и сосредоточенных у границы Советского Союза, имелось 746 машин этого типа, что составляло почти 21 % от общего числа танков. По тогдашнему штату один взвод в роте должен был иметь на вооружении танки Pz.II. Но это положение соблюдалось не всегда: в одних дивизиях «двоек» было много, иногда сверх штата, в других — не было совсем.
На 22 июня 1941 года Pz.II находились в составе 1-й (43 единицы), 3-й (58), 4-й (44), 6-й (47), 7-й (53), 8-й (49), 9-й (32), 10-й (45), 11-й (44), 12-й (33), 13-й (45), 14-й (45), 16-й (45), 17-й (44), 18-й (50), 19-й (35) и 20-й (31) танковых дивизий Вермахта. Кроме того, линейные «двойки» имелись и в составе 100-го и 101-го огнеметных танковых батальонов.
Pz.II без труда могли бороться с советскими легкими танками Т-37, Т-38 и Т-40, вооруженными пулеметами, а также с бронеавтомобилями всех типов. Легкие же танки Т-26 и БТ, особенно последних выпусков, поражались «двойками» лишь со сравнительно близких дистанций. При этом немецким машинам неизбежно приходилось входить в зону эффективного огня советских 45-мм танковых пушек. Уверенно пробивали броню Pz.II и советские противотанковые пушки. К концу 1941 года на Восточном фронте немецкая армия потеряла 424 танка Pz.II.