Танковые дивизии вермахта начали войну, располагая лишь артиллерией на мехтяге. Но кампания в Польше в сентябре 1939 г., а в особенности — наступление на Западе в мае-июне 1940 г. со всей очевидностью показали необходимость поддержки танков столь же подвижными самоходными артиллерийскими установками, имеющими к тому же, хотя бы частичную броневую защиту. Но, хотя немцы обычно самым тщательным образом изучали уроки предыдущих сражений, делая выводы на будущее, в этом случае вопросы создания САУ для танковых частей остались вне внимания военных специалистов. Лишь война против СССР с высокими темпами наступления, характерными для её начального периода и намечавшейся уже в то время тенденцией использования танковых дивизий в качестве «пожарных команд», перебрасываемых с одного участка фронта на другой, вновь сделала актуальным вопрос повышения подвижности дивизионной артиллерии. Поначалу основной упор делался на использование трофейных шасси, но, безусловно, предпочтительнее было создание самоходки на шасси одного из стандартных танков вермахта. Поэтому в начале 1942 г. Гитлер отдал распоряжение о начале проектирования 105-мм самоходной гаубицы с использованием артиллерийской части leFH 18 на шасси Sd.Kfz.121, или же попросту — легкого танка Pz.Kpfw. II. Выбор именно этого шасси диктовался, прежде всего, тем, что танк Pz.II уже был устаревшим и не мог использоваться в линейных частях. Поэтому выпуск САУ можно было наладить без ущерба для производства более современных танков. В то же время, он был освоен в производстве, а строевые части и ремонтные органы имели большой опыт его эксплуатации и обслуживания.
Проектирование новой САУ и постройку прототипа осуществляла фирма «Алкетт» на своем предприятии в Берлине-Борсигвальде. Изделие получило внутрифирменный индекс Ger"at 803.
При создании самоходки в шасси танка Pz.Kpfw.II Ausf. F внесли существенные изменения, касавшиеся, прежде всего, компоновки машины. Двигатель перенесли из кормовой части машины в среднюю, что повлекло за собой и необходимость перекомпоновки трансмиссии. Вентиляционные решетки двигателя перенесли с крыши корпуса на борта. Рабочее место механика-водителя сместили несколько вперед. Изменили бронирование передней части корпуса — лобовой лист брони стал наклонным, а для механика-водителя сделали небольшой эркер. В ходовой части уменьшили с четырех до трех на борт количество поддерживающих роликов. Подвеску усилили за счет введения резиновых упоров, ограничивающих прогиб рессор. И, наконец, самое главное — в кормовой части оборудовали просторную открытую сверху рубку для орудия, экипажа и боекомплекта.
Уже в ходе производства шасси самоходки удлинили примерно на 220 мм. Визуально это определяется по несколько увеличенному расстоянию между задним опорным катком и ленивцем. Именно такая самоходка находится в музее в Кубинке.
Выбор подрядчика для серийного производства был вполне логичен — им стала фирма FAMO, ранее производившая танки Pz.II. Поначалу предполагалось организовать выпуск орудий, получивших обозначение 10,5 cm leFH 18/2 (Sf) auf Gesh"utzwagen Pz.Kpfw.II (Sd. Kfz.124), на предприятии в Бреслау. Но вскоре решили перенести производство на завод «Урсус» в предместье Варшавы Чеховицах — это предприятие было оккупационными властями передано немецкому концерну и получило название «FAMO-Warschau». На варшавский завод из Бреслау перевезли оборудование производственной линии по выпуску Pz.II.
Внедрение самоходной гаубицы в производство продвигалось медленно — более приоритетными были признаны истребители танков «Мардер II», строившиеся на том же шасси. Выпуск Sd.Kfz.124 начался в феврале 1943 г. Первоначальный заказ составил 1000 единиц, но осенью 1943 г. его уменьшили до 835, включив в это количество и транспортеры боеприпасов Munitions Sf auf Fgst. Pz.KpfW.II. В общей же сложности к августу 1944 г. завод «FAMO-Warschau» выпустило 682 гаубицы и 158 транспортеров боеприпасов (по другим данным — 676 и 159 соответственно). При этом более 3/4 выпуска пришлось на 1943 г. В августе 1944 г. оборудование предприятия эвакуировали и в дальнейшем производство Sd.Kfz.124 не возобновляли.
Название «Веспе» («Оса») появилось не сразу, а было введено по приказу Гитлера год спустя после начала производства — 27 февраля 1944 г.
Самоходка отличалась рациональной компоновкой, простой в изготовлении конструкцией, но при этом — довольно большой высотой, создававшей угрозу опрокидывания при движении с креном.
Отделение управления находится в передней части машины и несколько смещено влево от продольной оси. Механик-водитель имеет в своем распоряжении стандартный набор контрольно-измерительных приборов. На свое рабочее место он попадал через двустворчатый люк. Прибор наблюдения со стеклоблоком триплекс находится в передней стенке эркера, две смотровые щели — в боковых. При движении вне поля боя передняя стенка эркера для улучшения обзора поднималась вверх. Отделение управления отделено от боевого бронированной стенкой с лючком за сиденьем механика-водителя.