Мы знаем о трех математических работах Омара Хайяма, относящихся к периоду его пребывания в Мавераннахре. Одна из них — «Трудности арифметики» — до сих пор не найдена. Об этой работе Хайям упоминает в своем алгебраическом трактате: «У индийцев имеются методы нахождения сторон квадратов и ребер кубов, основанные на небольшом последовательном подборе и на знании квадратов девяти цифр, то есть квадрата одного, двух, трех и т. д., а также произведений двух на три (и т. д.). Нам принадлежит трактат о доказательстве правильности этих методов и того, что они действительно приводят к цели. Кроме того, мы увеличили число видов, то есть мы показали, как определять основания квадрато-квадратов, квадрато-кубов и так далее сколько угодно, чего раньше не было». Возможно, в этой работе Омар Хайям первым в истории математики предложил общий прием извлечения корней
Второй трактат — небольшой и не имеет заглавия. В начале его сказано только: «Этот трактат — Абу-ль-Фатха Омара ибн Ибрахима аль-Хайями». Омар приводит здесь классификацию из двадцати пяти видов линейных, квадратных и кубических уравнений. Причем указывает, что одиннадцать из них могут быть решены при помощи второй книги «Начал» Евклида, а остальные четырнадцать — только при помощи конических сечений или специальных инструментов. Хайяму известны решения только четырех из них, принадлежащие его предшественникам. В своей небольшой работе Хайям критикует «тех, кто хвастлив, тщеславен и бессилен», чьи «души не вмещают ничего, кроме разве лишь понимания чего-нибудь незначительного из наук. Однако, когда они постигают это, им кажется, что это количество и есть то, что заключают в себе науки и что составляет их».
В конце трактата говорится: «Если бы не благородство собрания, да будет это благородство вечным, и не достоинство спрашивающего, да сделает Аллах вечной свою поддержку ему, я был бы в большом отдалении от этого, так как мое внимание ограничено тем, что для меня важнее этих примеров и на что расходуются все мои силы». Полемический тон этих высказываний достаточно очевиден. Вероятно, даже занимаясь математикой, Омар Хайям отнюдь не представлял замкнутого в себе, отрешенного от мира ученого. Судя по всему, уже в тот период исследования молодого ученого в области алгебры приводили к дискуссиям по более широкому кругу вопросов.
В этом же трактате Хайям писал: «Если мне будет отпущено время и будет сопутствовать успех, то я изложу эти четырнадцать видов со всеми их разновидностями и их частными случаями и различу среди них возможные от невозможных: некоторые из этих видов нуждаются в некоторых условиях, так что правильный трактат должен охватывать многие предпосылки, приносящие большую пользу в началах этого искусства».
Таким «правильным трактатом» стал знаменитый «Трактат о доказательствах задач алгебры и алмукабалы». Эту алгебраическую работу Хайяма можно разбить на пять частей: введение; решение уравнений первой и второй степени; решение уравнений третьей степени; сведение к предыдущим видам уравнений, содержащих величину, обратную неизвестной, и дополнение.
Работа Омара Хайяма стала возможной в результате его глубокого и систематического изучения предшествующего этапа развития этой отрасли математики. Он ищет и ставит те сложные проблемы, которые, по его мнению, не были разрешены наукой до него, что подтверждают его собственные высказывания: «Один из поучительных вопросов, необходимый в разделе философии, называемом математикой, это искусство алгебры и алмукабалы, имеющее своей целью определение неизвестных, как числовых, так и измеримых».
Здесь, вероятно, следует напомнить, что и в Средние века математика считалась одним из разделов философии. Философские науки делились на теоретические и практические. Теоретические же, в свою очередь, подразделялись на «высшую науку» (то есть философию в нынешнем смысле), «среднюю науку» — математику и «низшую науку» — физику. В данном случае Хайям называет «измеримой величиной» непрерывную геометрическую величину, то есть линию, поверхность и тело в отличие от дискретного количества — натурального числа.