Версальский договор запрещал Германии иметь противотанковую артиллерию «как класс». Но разработки противотанковых пушек велись, благодаря чему уже в 1934 г. на вооружение была принята 37-мм пушка Рак 35/36. Именно это орудие и составляло основу противотанковой артиллерии вермахта накануне начала Второй мировой войны. Особенно «щедро» укомплектованы этими пушками был «костяк» вермахта — пехотные дивизии 1-й волны. В них каждый пехотный полк располагал 14-й ротой, вооруженной дюжиной Рак 35/36. Ещё 36 таких орудий было в противотанковом батальоне дивизионного подчинения и три — в роте поддержки разведывательного батальона. В сумме это составляло 75 противотанковых пушек на дивизию. Все подразделения противотанковой артиллерии были полностью моторизованы — в качестве тяги применялись, главным образом, легкие трехосные автомобили «Крупп» «Протце». В танковых и легких дивизиях противотанковая артиллерия, подобно пехотным орудиям, находилась не в полковом, а в батальонном звене. Каждый батальон моторизованной пехоты располагал тремя Рак 35/36. Предусматривалось и наличие дивизионного противотанкового батальона — такого же, как и в пехотной дивизии. Но часто в батальоне было лишь две роты. В итоге, танковые и легкие дивизии по состоянию на 1 сентября 1939 г. располагали, в зависимости от организации, различным количеством противотанковых пушек — от 33 до 51. Вновь формируемые пехотные дивизии часто также имели меньшее количество противотанковых средств — их противотанковые батальоны вместо трех рот могли состоять только из двух. В 7-й авиационной дивизии люфтваффе было две роты противотанковых пушек — одна дивизионного подчинения и одна в составе 1-го парашютного полка. В организационном отношении эти роты не отличались от соответствующих частей сухопутных войск.
37-мм пушки неплохо показали себя во время польской кампании, но уже против более «толстокожих» французских танков их эффективность оказалась гораздо ниже. В качестве временной меры, пока не будут внедрены в производство новые противотанковые орудия собственной разработки, на вооружение вермахта приняли чешскую 47-мм пушку под обозначением Pak(t). Её применяли как в буксируемом варианте, так и в самоходном — на шасси легкого танка Pz.Kpfw. I Ausf. B. В штат дивизий чешские пушки не вводили — ими комплектовали отдельные батальоны РГК. В начале 1941 г. существовало шесть батальонов с самоходками, каждый из которых имел три роты и насчитывал 27 самоходок. Один из этих батальонов (605-й) был направлен в Северную Африку и придан 5-й легкой дивизии в дополнение к штатному батальону с 37-мм буксируемыми пушками. Впоследствии 605-й батальон передали в состав 90-й легкой африканской дивизии. Отдельные батальоны на мехтяге имели смешанный состав — одна рота с девятью чешскими пушками и две с Рак 35/36 (по 12 орудий).
Самоходная установка с 47-мм Pak(t)
Накануне нападения на Советский Союз в части начали поступать 50-мм противотанковые пушки Рак 38. Поскольку поначалу их было относительно мало, то такие орудия вводили в смешанные роты, имевшие три Рак 38 и восемь Рак 35/36 либо четыре и шесть соответственно. Но значительное число дивизий не успело получить новые орудия, и в операцию «Барбаросса» вступили только с 37-мм пушками.
Начало войны с СССР принесло вермахту немало «сюрпризов». Пожалуй, главным из них оказались танки Т-34 и КВ, против которых были бессильными 37-мм пушки и малоэффективными 50-мм. Нельзя сказать, что факт существования новых советских танков был тайной для германских специалистов — просто этому факту не придавали особого значения. Разведка доносила, что танков новых типов в Красной армии насчитывается не более 8 %. Но если учесть, что общее количество танков оценивалось в 24 000, то эти 8 % превращалось в 2000 танков! Способные же эффективно поражать Т-34 и КВ 75-мм противотанковые пушки Рак 40 начали выпускаться лишь в конце 1941 г. При этом практически все такие орудия поначалу шли на вооружение самоходных противотанковых установок на шасси танков Pz.Kpfw. II, Pz.Kpfw. 38(t) и трофейных французских гусеничных тягачей Lorraine. В буксируемом варианте Рак 40 начали широко применяться лишь с 1943 г. В качестве противотанковых орудий, в том числе и в самоходном варианте, применялись и трофейные советские 76,2-мм дивизионные пушки. Танкоистребительные батальоны и роты, вооруженные такими САУ, получившими общее название «Мардер» с числовым индексом от I до III, в зависимости от модификации, придавались дивизиям — главным образом, танковым и панцергренадерским. Лишь несколько ПД получили такие самоходки.