В 1934 году пушка была модернизирована — она получила колеса с пневматическими шинами, позволявшими буксировать пушку автомобилями, улучшенный прицел и немного измененную конструкцию лафета. Под обозначением 3,7-cm Раk 35/36 (Panzerabwehrkanone 35/36) она поступила на вооружение рейхсвера, а с марта 1935 года и вермахта как основное противотанковое средство. Ее цена составляла 5 730 рейхсмарок в ценах 1939 года. По мере изготовления новых 37-мм пушек Раk 35/36, изготовленные до 1934 года Так L/45 29 с деревянными колесами изымались из войск.
В 1936–1939 годах Раk 35/36 прошла крещение огнем во время гражданской войны в Испании — эти орудия использовались и легионом «Кондор», и испанскими националистами. Результаты боевого использования оказались очень хорошими — Раk 35/36 могла успешно бороться с советскими танками Т-26 и БТ-5, имевшимися на вооружении республиканцев, на дистанции 700–800 м (именно столкновение с 37-мм противотанковой пушкой в Испании заставило советских танкостроителей начать работы по созданию танков с противоснарядной броней).
В ходе французской кампании оказалось, что 37-мм противотанковые орудия неэффективны против английских и французских танков, имевших бронирование до 70 мм. Поэтому командование вермахта приняло решение об ускорении развертывания более мощных противотанковых артсистем. Концом карьеры Раk 35/36 стала кампания против СССР, в ходе которой они оказались совершенно бессильны против танков КВ и Т-34. Например, в одном из донесений июня 1941 года говорилось, что расчет 37-мм пушки добился 23 попаданий в танк Т-34 безо всякого результата. Поэтому не удивительно, что в скором времени Раk 35/36 в войсках стали называть «армейской колотушкой». В январе 1942 года производство этих орудий было прекращено. Всего с начала производства в 1928 году изготовили 16 539 Раk 35/36 (считая Таk L/45 29), из них 5 339 орудий в 1939–1942 годах.
Кроме обычного варианта Раk 35/36 был разработан ее несколько облегченный вариант, предназначенный для вооружения парашютных частей люфтваффе. Он получил обозначение 3,7-cm Раk auf leihter Feldafette (3,7-cm Раk leFLat). Это орудие предназначалось для транспортировки по воздуху на наружной подвеске транспортного самолета Ju 52. Внешне 3,7-cm Раk leFLat практически не отличалась от Раk 35/36, изготовлено их было очень немного.
Первоначально для стрельбы из Раk 35/36 использовались два типа унитарных патронов с бронебойным (PzGr 39) или осколочным (SprGr) снарядами. Первый массой 0,68 кг являлся обычной болванкой из твердого сплава с донным взрывателем и трассирующим устройством. Для борьбы с живой силой использовался осколочный снаряд массой 0,625 кг с головным взрывателем мгновенного действия.