К этапному же изменению в конструкции танка можно отнести только замену вооружения. После завершения Французской кампании, в августе 1940 года, был поднят вопрос об усилении огневой мощи Pz.III. В этой связи часто упоминается достаточно любопытный факт расхождения во взглядах фюрера и Службы вооружения сухопутных войск. Гитлер, якобы, потребовал установить на танк 50-мм пушку с длиной ствола в 60 калибров, но вооруженцы ослушались и остановили свой выбор на «короткой» 50-мм пушке с длиной ствола в 42 калибра. На самом же деле все обстояло несколько проще — установить 60-калиберную пушку в «тройку» в тот момент не представлялось возможным, поскольку испытания нового орудия начались только 1 августа 1940 года и продолжались до зимы 1942-го. Что касается 42-калиберной пушки, то ее серийное производство началось в конце июня 1940 года и альтернативы ей не было. В июле месячный выпуск достиг 40 штук, а к осени 1941-го ежемесячно изготавливалось 250 орудий. Быстрому освоению новой пушки способствовало ее конструктивное подобие 37-мм орудию. Производство последнего прекратилось в августе 1940 года, но еще вплоть до октября 37-мм пушки продолжали устанавливаться в танки. Впрочем, впоследствии, все они были заменены 50-мм.
В октябре 1940 года заводы MAN, Alkett, Henschel, Wegmann, MNH и MI AG начали производство боевых машин версии Н. До апреля 1941 года было выпущено 310 единиц. Первоначальный заказ на 759 танков был сокращен в пользу следующей модификации — Ausf.J.
Важнейшие изменения затронули кормовую часть башни — теперь она изготавливалась из цельной гнутой 30-мм бронеплиты. На лобовую часть корпуса наваривался дополнительный 30-мм броневой лист, в котором выполнялись вырезы под смотровой прибор механика-водителя и установку курсового пулемета. Таким образом, лобовая броня корпуса увеличилась до 60 мм.
Подобно танкам Ausf.G поздних выпусков машины версии Н оснащались новыми командирскими башенками, 400-мм гусеницами массой 700 кг каждая, новыми ведущими и направляющими колесами. Передние поддерживающие катки сместили вперед, ближе к амортизаторам.
На танках взамен десятискоростных устанавливались шестискоростные механические синхронизированные коробки передач типа Maybach SSG77.
В результате всех нововведений масса танка возросла до 21,6 т.
Следующим вариантом танка Pz.III стала модификация J. Она находилась в серийном производстве с марта 1941 по июль 1942 года.
Толщину лобового броневого листа корпуса довели до 50 мм. В связи с этим в лобовом листе были смонтированы шаровая установка Kugelblende 50 для пулемета MG 34 (аналогичная используемой на танках Pz.IV Ausf.F) и смотровой прибор механика-водителя Fahrersehklappe 50 с бинокулярным перископом KFF 2. Броневая защита башни и бортов корпуса осталась прежней — 30 мм, толщина щита маск-установки пушки — 20 мм.
Изменилась конструкция буксирных крюков, двухстворчатые крышки люков доступа к агрегатам трансмиссии заменили на одностворчатые (на танках поздних выпусков так же поступили с люками доступа к двигателю), воздушные фильтры двигателя перенесли с моторной перегородки на карбюраторы. Было внесено много других более мелких усовершенствований.
Самым же важным нововведением стала установка новой пушки. Первые 1549 танков Ausf.J еще были вооружены 50-мм пушкой KwK 38 с длиной ствола в 42 калибра. С января 1942 года в танки начали устанавливать 50-мм пушку KwK 39 с длиной ствола в 60 калибров, обладавшей большей бронепробиваемостью. Новые орудия получили 1067 танков Ausf.J.
Замена пушки стала насущной необходимостью после первых же сражений на Восточном фронте. Здесь выяснилось, что Pz.III, предназначавшийся по замыслу именно для борьбы с танками противника, мог пробить броню советского тяжелого танка КВ только с дистанции 200 м. При этом советские танки легко поражали «тройки» с дистанции 500 м. Новая пушка позволила хотя бы частично уравнять шансы и увеличить дальность эффективного огневого боя с советскими танками до 500 м.
Появление следующего варианта «тройки» связано с попыткой установки на Pz.III Ausf.J башни танка Pz.IV Ausf. G с длинноствольной 75-мм пушкой. Однако башня от «четверки» на «тройке» не прижилась, поэтому и последовала санкция на выпуск новой серии танков с прежним вооружением.