К тому времени, когда разразилась вторая мировая война, Виттман был уже унтершарфюрером СС в артиллерийском батальоне дивизии. Понюхав пороха в Польше, Франции и Бельгии, он получил под начало самоходное орудие, с которым участвовал в Греческой кампании. Он ничем не выделялся среди товарищей до тех пор, пока лейбштандарт не пересек в июне 1941 года границу Советского Союза. В отличие от танков, немецкие самоходные орудия использовались главным образом в качестве транспортных средств, как противотанковые орудия и организованный мобильный резерв дивизионного командира.
Унтершарфюрер Виттман вскоре приобрел репутацию храброго, хладнокровного и решительного воина. Обладая крепкими нервами, он подпускал вражеские танки на близкую дистанцию и подбивал их первым же снарядом. Летом и осенью 1941 года он уничтожил таким образом несколько советских танков, но в августе был легко ранен. Однажды Виттман сдержал атаку восьми советских танков. Он хладнокровно подпустил их на близкую дистанцию и открыл огонь. Шесть из них загорелись, а два обратились в бегство. В 1941 году его наградили Железным крестом обоих классов, а также знаком танкиста-штурмовика.
В середине 1942 года, после того как лейбштандарт «Адольф Гитлер» был переброшен обратно во Францию, на отдых и переформирование, Виттмана направили в Германию на учебу, в военное училище в Бад-Тельц. После успешного его окончания ему было присвоено звание унтерштурмфюрера СС — это произошло в канун нового 1942 года. Затем он вернулся на Восточный фронт.
В России Виттману было поручено командование взводом «тигров» в 13-й танковой роте (тяжелых танков) 1-го танкового корпуса СС. Хотя эти танки-монстры двигались медленно, обладали слабой маневренностью и часто ломались, они были защищены толстой броней и оснащены мощными длинноствольными 88-миллиметровыми орудиями.
Михаэль Виттман стал признанным виртуозом этого смертоносного оружия. 5 июля 1943 года, в первый день сражения под Курском, он лично уничтожил 8 советских танков и 7 артиллерийских орудий. Всегда спокойный и методичный Виттман определял свою тактику и степень собственного риска согласно боевой обстановке. Подобный подход, помноженный на смелость, а также согласованные действия его прекрасно обученного экипажа скоро создали Виттману почти легендарную репутацию величайшего воина-танкиста всей военной истории. Во время Курской битвы он один уничтожил 30 советских танков и 28 орудий.
После провала операции «Цитадель» гитлеровские легионы повернулись вспять. Михаэль Виттман был одним из тех, кто оставался на линии фронта и вблизи нее, прикрывая отступление войск, или предпринимал контратаки, если того требовала обстановка. Например, в одном из боев зимней кампании 1943–44 годов за один только день он лично подбил десять советских танков. Примечательно, что 14 января 1944 года он был награжден Рыцарским крестом, а уже шестнадцать дней спустя был представлен к Дубовым Листьям. А еще через несколько дней Виттману было присвоено звание оберштурмфюрера СС. В апреле 1944 года, когда Виттман покинул Восточный фронт, на счету у него было 119 подбитых советских танков. Но с самыми тяжелыми испытаниями он столкнулся на Западном фронте.
6 июня 1944 года 501-й батальон дислоцировался в Бове (Франция), когда состоялась высадка объединенных сил союзников — День «Д». На следующий же день начался марш батальона тяжелых танков СС с целью воссоединения с I танковым корпусом СС в Нормандии. Задача была не из легких. Самолеты союзников разрушили большую часть мостов к югу от Парижа и сделали продвижение в дневное время чрезвычайно опасным. После того как 2-я рота была захвачена врасплох на открытой местности неподалеку от Версаля и разгромлена самолетами-штурмовиками, 501-й батальон передвигался только ночами. «Острие» батальона — рота Виттмана прибыла в зону боевых действий в ночь с 12 на 13 июня и заняла замаскированные позиции к северо-востоку от Виллер-Бокажа на левом фланге тылов корпуса Дитриха.