После такой характеристики Абу Зарр принял решение поехать в Мекку, увидеться с пророком (мир ему и благословение Аллаха) и стать мусульманином. Взял в руки посох, немного еды и с большим желанием отправился в путь. Прибыв в Мекку, никому не стал говорить о себе и своих намерениях, потому что мушрики с каждым днем усиливали свою борьбу против мусульман. Особенно доставалось бедным и одиноким. У Абу Зарра в Мекке знакомых не было, поэтому он вел себя настороженно. Рассчитывая найти посланника (мир ему и благословение Аллаха) возле Каабы, он кружил по соседним улочкам, присматриваясь к людям, и стараясь по какому-либо признаку узнать его местонахождение. К вечеру он оказался на какой-то улице. Проходивший мимо благословенный Али (радыйаллаху анх — да будет доволен им Аллах) увидел Абу Зарра. Поняв, что тот странник, пригласил его к себе, ничего у него не спрашивая. Абу Зарр также ничего не объяснял ему. Утром Абу Зарр вновь пошел к Каабе. Проходив до вечера, и так ничего и не узнав, вновь пошел и сел на той же улице. Али опять проходил мимо. Подумав, что вероятно странник не смог найти приют, опять пригласил к себе. На третий день опять повторилось то же самое. На этот раз благословенный Али спросил его, откуда он и зачем приехал в Мекку. Абу Зарр сказал: «Если ты дашь мне слово, что будешь говорить только правду и укажешь правильную дорогу, то я тебе отвечу». Благословенный Али уверил его, что дает слово, и что никому ничего не расскажет. Абу Зарр сказал: «Слышал я, что здесь появился пророк. Пришел повидаться с ним». Благословенный Али сказал: «Ты нашел истину, ты поступил разумно. Я сейчас иду к нему. Следуй за мной и войди в тот дом, куда войду я. Если за нами будут следить, я сделаю вид, что поправляю обувь. Тогда не жди, проходи мимо меня». Абу Зарр последовал за благословенным Али. Наконец увидел долгожданного благословенного пророка и поздоровался с ним: «Ассаламу алейкум». Это было первым приветствием в Исламе в такой форме (Ассаламу алейкум), а Абу Зарр-иль Гифари оказался первым человеком, который так приветствовал. Посланник (мир ему и благословение Аллаха) в ответ на это приветствовал словами: «И тебе мир и милость Аллаха», и спросил у него кто он и когда прибыл. Абу Зарр ответил, что он из племени Гифар, и прибыл в Мекку три дня и три ночи тому назад. На вопрос кто его кормил, он ответил: «Я пил воду Замзама, и не чувствовал ни голода, ни жажды». Посланник Аллаха сказал: «Замзам — вода Священная. Насыщает голодных». Потом Абу Зарр попросил рассказать об Исламе. Любимый пророк (мир ему и благословение Аллаха) научил его свидетельствовать о том, что кроме Аллаха нет другого Бога, и Мухаммед — Его раб и Его посланник. Произнеся шахаду, Абу Зарр-иль Гифари удостоился чести оказаться в числе первых мусульман.
Потом поклялся Расулаллаху, что он открыто сообщит об этом всем мусульманам. Он сразу выполнил свое обещание, и, придя к Каабе, произнес: «О, община курайшитов! Ашхаду алля иляха илляллах ва ашхаду анна Мухаммадан абдуху ва расулюху (т. е. Я свидетельствую, что нет бога кроме Аллаха, и свидетельствую, что Мухаммед — Его раб и Его посланник). И тут же неверующие обрушили на него град ударов камнями, палками, обломкоми костей, отчего он весь залился кровью. Увидевший это, дядя посланника — Аббас (радыйаллаху анх) остановил их: «Оставьте его в покое, вы же его убьете! Он из того племени, по территории которого проходят пути ваших торговых караванов. Как потом вы будете вести торговлю?». И спас его от мушриков. А Абу Зарр на этом не остановился. Как он мог успокоиться от счастья, — ведь он теперь мусульманин! На следующий день опять он пришел к Каабе, и вновь громко произнес Калимаи Шахадат т. е. слова свидетельства. Идолопоклонники опять схватили его, повалили на землю и били чем попало. Неизвестно, остался ли бы он жив, если бы его снова не выручил благословенный Аббас (да будет доволен им Аллах).