Граф писал в своем дневнике:
Затем днем на его счету были два И16, а вечером – еще один МиГ1. 9 мая Граф в бою в районе Феодосии сбил пару И153, а 11 мая над Керченским полуостровом – два И16.
Сбив утром 12 мая очередной советский самолет, он достиг планки в 90 побед. В тот же день 9./JG52 получила приказ перебазироваться на аэродром около поселка Рогань, расположенного в паре километров от юго-восточной окраины Харькова.
Надо заметить, что именно в ходе боев в Крыму в мае 42го года эскадрилья получила ставшее затем знаменитым прозвище «Карайя». Произошло это благодаря обер-фельдфебелю Эрнсту Зюссу, который из отпуска домой привез проигрыватель. Однако все грампластинки, которые он захватил с собой, оказались повреждены. Поэтому единственной вещью, которая день и ночь звучала в расположении эскадрильи, оказалась советская пластинка с записью песни крымских татар, найденная Зюссом в Крыму.
В итоге летчик даже не заметил, как стал в воздухе громко напевать запомнившуюся ему главную тему песни, которая интерпретировалась им как
Утром 13 мая звено «Мессершмиттов» во главе с Графом вылетело на «свободную хоту» в район восточнее Харькова. Около 11.30 немцы встретили и атаковали группу приблизительно из тридцати советских истребителей. Командир 9./JG52 тогда сбил четыре И16 из 929-го ИАП. Хотя последний и назывался «истребительным», он в основном использовался для нанесения штурмовых ударов. В том бою «Мессершмитт» Графа получил попадание в двигатель, но, оставляя за собой дымный шлейф, все же смог вернуться на аэродром Рогань.
Во второй половине того же дня жертвами Графа в районе поселка Берека, приблизительно в 80 км южнее Харькова, стали два ЛаГГ3 из 521-го ИАП.
На следующий день ожесточенные бои в районе Харькова продолжились. Советская авиация, несмотря на большие потери, всеми силами стремилась поддержать наступление частей Юго Западного фронта. В первой половине 14 мая Граф записал на счет еще три победы. Затем около 16.45 его эскадрилья в районе г. Старый Салтов вступила в бой с группой МиГ3. Согласно данным Люфтваффе, командир 9./JG52 сбил тогда сразу пять самолетов.
Граф стал седьмым по счету немецким пилотом, преодолевшим рубеж в сто побед. По этому поводу рейхсмаршал Геринг прислал ему поздравительную телеграмму. 15 июля о его достижении говори лось в информационной сводке Главного командования Вермахта. В тот же день сам Граф одержал еще одну победу.
В ожесточенных боях Люфтваффе завоевали воздушное превосходство в районе Харькова. И уже 17 мая немецкие 1-я танковая армия и 17-я полевая армия нанесли контрудар по южному флангу советских войск в районе Славянска. Одновременно в районе Волчанска, северо-восточнее Харькова, перешла в наступление 6-я армия. Это был классический охватывающий удар, завершившийся полным окружением советских армий, еще недавно наступавших на Харьков.
В тот же день Граф получил сообщение о том, что его наградили Дубовыми Листьями к Рыцарскому Кресту (Nr.93). 19 мая эскадрилья перебазировалась на полевой аэродром около села Константиновка, в 20 км южнее Харькова. И в тот же день стало известно, что ее командира удостоили уже и Мечей к Рыцарскому Кресту (Nr.11).
9./JG52 провела в Константиновке всего сутки и уже 20 мая перелетела на аэродром около поселка Барвенково, в 37 км юго западнее г. Изюм. Вечером того же дня Граф в ходе вылета «на свободную охоту» над линией фронта сбил Пе2, а на следующий день в бою северо-западнее Изюма его жертвой стал МиГ3.