Он снова обратился к изучению суфизма, от которого отвернулся в юности. Но теперь путь суфиев показался ему действительным спасением. По словам Газали, между июлем и ноябрем 1095 года он пережил тяжелый внутренний кризис. Прежние, казалось, давно оставленные, но в действительности, видимо, дремавшие в нем мистические настроения овладели им с новой силой. Суфизм вдохнул в него религиозную веру. Аль-Газали пережил «крушение личности» и почувствовал необходимость сломать свою устоявшуюся жизнь.
Передав кафедру в Низамийя своему родному брату Маджд-ад-дину Ахмеду аль-Газали, он отказался от завидного общественного положения и богатства и втайне от близких покинул Багдад в одежде дервиша. Одиннадцать лет Газали провел в странствиях, ища в добровольной бедности и в аскетической жизни средство для душевного мира и утверждения в своем новом миросозерцании. Он посетил Мекку, Иерусалим, Дамаск, Александрию и другие места. Два года прожил отшельником в горах близ Иерусалима. Ведя уединенную жизнь, аль-Газали в эти годы написал главные свои труды.
В 1106 году Газали вернулся к активной деятельности, стал преподавать в Дамаске и Багдаде. Через некоторое время по приглашению того же Фахр аль-Мулька (с которым сотрудничал Омар Хайям) он начал читать лекции в Низамийя в Нишапуре.
В этот период аль-Газали и Омар Хайям скорей всего неоднократно встречались друг с другом. Об одной такой встрече пишет аль-Бейхаки. Причем, судя даже по этому одному эпизоду, отношения между двумя крупными фигурами своего века складывались достаточно сложно:
«Однажды к нему (Хайяму) пришел имам „Доказательство ислама“ Мухаммад аль-Газали и спросил его об определении полярной части небесной среды среди других частей, в то время как все части неба подобны… Тогда имам Омар стал многословно говорить, он начал с того, что движение является какой-то категорией, но воздержался от углубления в спорный вопрос. таков был обычай этого властного шейха. Так продолжалось до тех пор, пока не наступил полдень и муэдзин призвал к молитве. Тогда имам аль-Газали сказал: „Истина пришла, и исчезла нелепость“ и встал».
Через некоторое время Газали оставил преподавание и с несколькими учениками затворился в ханаке в родном городе Тусе, где и умер в декабре 1111 года.
Обращение аль-Газали к суфизму произвело большое впечатление на многих современников. Однако некоторые его противники высказывали сомнение в искренности кардинального поворота аль-Газали. Если он, говорили они, мог в молодые годы вести полемику с исмаилитами и другими «еретиками», не веря в то, что писал, то и в последующих его писаниях искренность закономерно должна вызывать сомнение. Высказывались предположения, что его отречение от мира и бегство из Багдада могли быть подсказаны политическими мотивами. В 1095 году султан Беркярук победил своего дядю Тутуша, соперника в борьбе за престол. Аббасидский халиф Мустазхир поддерживал Тутуша. Поэтому Газали, занимавший видное место в окружении халифа в качестве приближенного советника, мог обоснованно опасаться мести со стороны султана. Между прочим, Газали и вернулся в Багдад уже после смерти Беркярука.
Аль-Газали стал значительнейшей фигурой в мусульманской теологии и схоластике. Он дал каламу более тонкие логические методы, ввел в него более изощренную философскую терминологию. Но еще большую услугу он оказал умеренному суфизму, окончательно примирив его с теологией и провозгласив интуицию и «внутренний опыт» важнейшим, хотя и не единственным средством постижения абсолютной истины. Таким образом, он существенным образом укрепил статус суфиев в мусульманской общине.
Авторитет аль-Газали как крупнейшего теолога был признан в суннитской среде уже в последние годы его жизни. За ним утвердились почетные звания «Обновитель веры» и «Доказательство ислама». После смерти его влияние расширилось еще больше, затмив славу прежних суннитских теологов. В конце XV века известный комментатор Корана Джалаль ад-дин Суйути говорил: «Если бы был возможен после Мухаммеда еще пророк, то им бы был, несомненно, аль-Газали».
Вместе с тем система аль-Газали стала предметом и острой критики со стороны его оппонентов. «Что касается до сочинений шейха Абу-Хамида, — писал современник Газали выдающийся арабский мыслитель Ибн-Туфейль, — то он, применяясь к обращению своему к народу, в одном месте связывает, в другом разрушает, то не признает одни вещи, то их исповедует. Между прочим, он обличает философов в неверии в книге „Ниспровержение“ за то, что они отрицают воскресение тел и признают награду и наказание исключительно для душ. Затем, в начале книги „Весы“, он категорически говорит, что это мнение есть мнение шейхов суфиев; далее в сочинении „Предохранитель от заблуждения и толкователь состояний экстаза“ он утверждает, что его мнение подобно мнению суфиев и что он остановился на нем только после долгого исследования. И многое в этом роде может увидеть в сочинениях его, кто будет читать и углубляться в исследование их».