Шуубитом и еретиком Ибн аль-Мукаффу считали и его покровители, которые настаивали на том, чтобы он отказался от своей старой веры и принял ислам. Его мусульманское имя Абдаллах показательно — так обычно называли новообращенных мусульман. Очевидно, служба у знатных Алидов требовала от Рузбиха приобщения, хотя бы «внешнего», по выражению биографа, к государственной религии. Покровитель Рузбиха Алид Иса потребовал, чтобы, во избежание различных толков, которые могут повредить ему, Рузбих принял ислам и произнес «всенародно» трижды: «Я свидетельствую, что нет бога, кроме Аллаха, и что Мухаммад посланец Аллаха». Накануне этого события Ибн аль-Мукаффа, присутствуя на трапезе у Исы, стал «бормотать» зороастрийские молитвы за едой, как это было принято у огнепоклонников. На замечение Исы, что негоже будущему мусульманину «бормотать, словно язычник», Рузбих ответил: «Я боюсь провести хотя бы одну ночь, не имея никакой веры». В словах этих заметно «религиозное свободомыслие» Ибн аль-Мукаффы, раскрывшееся с полной силой в его переводе «Калилы и Димны».
Рузбих становится мусульманином. Но современники, да и последующие историки сочли его обращение лицемерным. Сам Рузбих иногда подчеркивал свою приверженность вере отцов (может быть, не вполне искреннюю). Так, проходя вместе с несколькими знакомыми адибами, в числе которых были и его враги, мимо зороастрийского храма — «дома огня», он произнес стихи популярного в то время поэта аль-Ахваса:
Все присутствующие отлично поняли намек, и это лишь способствовало тому, что за Ибн аль-Мукаффой утвердилась слава еретика.
Рузбих оставался на посту секретаря правителя Басры, его литературная слава, влияние и богатство все возрастали, друзья превозносили его красоту, образованность, красноречие и щедрость.
В 754 году умер первый аббасидский халиф ас-Саффах, и халифский престол достался властному, жестокому и неразборчивому в средствах аль-Мансуру, который стремился прежде всего усмирить Алидов, надеявшихся получить власть после смерти ас-Саффаха. Главным соперником аль-Мансура стал его дядя Алид Абдаллах, который возглавил восстание против халифа, но верный Аббасидам Абу Муслим аль-Хорасани разбил его войска в сражении, и Абдаллах бежал в Басру, где находились его братья Сулейман и Иса, правитель города. Алиды получили небольшую передышку от преследований халифа, который в то время затеял сложную интригу против Абу Муслима, ставшего, как казалось аль-Мансуру, слишком сильным и популярным.
В 755 году Абу Муслим был убит по приказу халифа. Затем аль-Мансур сместил Алидов со всех постов, лишив их должностей. Правителем Басры он назначил Суфьяна ибн Муавию, которому поручил доставить во что бы то ни стало Абдаллаха, скрывавшегося у своих родственников.
Иса не был уже правителем Басры, но сохранил свое огромное богатство и влияние. Обеспокоенный участью брата, ибо знал жестокость аль-Мансура, который не задумываясь убил бы своего дядю, если бы тот попал ему в руки, Иса потребовал у Ибн аль-Мукаффы, остававшегося его секретарем, составить текст «амана» — охранной грамоты. Эту грамоту он намеревался передать на подпись халифу, чтобы хотя бы в какой-то мере обезопасить Абдаллаха. Правда, такие охранные грамоты были не столь уж надежны, ибо почти всегда нарушались, однако нарушение клятвы, особенно данной потомкам Али, воспринималось общественным мнением неодобрительно и могло повредить халифу. Иса велел своему секретарю составить текст недвусмысленно и в самых резких выражениях. Может быть, кто-нибудь иной поостерегся бы, опасаясь гнева могущественного халифа, но Ибн аль-Мукаффа, человек смелый, не желавший лицемерить и скрывать свои подлинные чувства, составил документ поистине уникальный. Текст содержал, например, такие выражения: «И если повелитель правоверных (т. е. халиф) предаст своего дядю Абдаллаха ибн Али, то жены его будут разведены с ним, кони — заперты в стойле, а рабы отпущены на свободу, и мусульмане будут считать себя свободными от присяги… Если повелитель правоверных предаст его, то вся община Мухаммада вольна свергнуть его и объявить ему войну… Если я, халиф, предам его, то мусульмане вольны отречься от меня и от присяги, мне данной, которая больше не будет тяготить их. Не будет никакого договора, никакого покровительства и союза между нами, и всем истинным мусульманам должно выступить против меня… Если я предам его, то у меня нет никакой чести и веры и я буду проклят пред лицом общины нашего пророка…»