Компьютерра PDA 03.04.2010-09.04.2010

"Не каждый cloud computing хостинг может конкурировать с крупными суперкомпьютерами, - говорит технический директор компании "Оверсан-Скалакси" Александр Титов. - Для суперкомпьютерных вычислений важна скорость передачи данных между машинами. В нашей хостинг-среде используется интерконнект Infiniband QDR, что дает ей возможность не смотреться на фоне мощных российских суперкомпьютеров бледно". "Облако" компании "Оверсан" состоит из двухста узлов с двумя процессорами Xeon 5550, соединенных по Infiniband QDR и работающих с кластерной файловой системой GPFS.

Впрочем, тест Linpack на системе "Оверсана" не прогоняли (и в дата-центрах других интернет-компаний, скорее всего, тоже), и потому его точной производительности никто не знает. "Для того чтобы запустить тест Linpack на всей установке, её надо на некоторое время полностью вывести из эксплуатации", - объясняет Всеволод Опанасенко. На это пойдёт не всякий. К тому же не все компании хотят афишировать мощность своих систем, да и технические сложности различного рода тоже возможны.

Большинство современных суперкомпьютеров использует процессоры архитектуры x86. Из общего ряда выбиваются несколько систем с более специфической архитектурой: массивно-параллельная установка IBM Blue Gene в МГУ, суперкомпьютер SGI с процессорами Itanium в Росгидромете, а также часть гибридной системы в ВлГУ на базе девятиядерных процессоров PowerXCell 8i, родственных процессорам Cell из игровой приставки Playstation 3.

Растёт интерес к использованию гибридных систем, в которых используются разные типы процессоров, в том числе графических ускорителей. Например, в составе комплекса "Ломоносов" есть подобные узлы, но при тестировании для Топ-50 они не использовались и не указаны в характеристиках системы. Американский Консорциум по развитию многоядерных гибридных архитектур считает, что уже через несколько лет первые строчки в рейтинге Top-500 будут принадлежать именно таким системам.

Анатолий Вассерман: Пирамида Маслоу

Автор: Михаил Карпов

Опубликовано 06 апреля 2010 года

Выпуск 204

Анатолий Вассерман говорит о пирамиде Маслоу, а также о том, какую роль играет в ней государство и за формирование какого её уровня оно должно отвечать.

Скачать ролик на свой компьютер

В оформлении блога использованы иллюстрации TALLSTUDIO.ru

Машинное обучение улучшило "Яндекс"

Автор: Андрей Письменный

Опубликовано 06 апреля 2010 года

"В прошлом году у нас произошёл сильный прорыв в качестве поиска", - сообщил генеральный директор компании "Яндекс" Аркадий Волож на недавней пресс-конференции, посвящённой технологии MatrixNet. Новый алгоритм ранжирования помогает "Яндексу" выдавать более точные результаты в ответ на поисковые запросы. Его позитивное влияние отразилось и на популярности поисковика.

Новая технология работает в последней версии поисковика, носящей кодовое название "Снежинск", с ноября 2009 года. "Если версия улучшает качество на 1%, она выкладывается в продакшн. Большие релизы с названиями - это 1-2 процента качества. А со "Снежинском" нам удалось выиграть пять процентов," - говорит Волож. По его словам, успех "Матрикснета" настолько заметен, что им заинтересовались другие крупные поисковики (Волож дипломатично назвал их "конкурирующими компаниями из Калифорнии").

Необычность "Матрикснета" заключается в том, что алгоритм при оценке страницы учитывает не десятки или сотни факторов, а чуть ли не тысячи. Причём он устойчив к "переобучаемости" (то есть менее склонен случайно принимать за важные параметры что-нибудь явно бессмысленное, чем предшественники) и достаточно быстр.

Собственно говоря, в скорости работы и кроется главное преимущество "Матрикснета". Сравнимые по другим показателям методы машинного обучения существовали и раньше, но из-за недостаточной скорости они не годились для поисковой машины. В "Яндексе" придумали, как оптимизировать алгоритм.

Объяснить принцип работы "Матрикснета" простыми словами не так легко. Сотрудники "Яндекса" хоть и берутся это делать, но в результате примеры оказываются расплывчатыми. Видимо, математика, использующаяся в машинном обучении, плохо приспособлена для изложения на примерах с яблоками. Но в целом преимущество нового алгоритма кажется вполне понятным: чем длиннее и сложнее формула ранжирования, тем точнее поиск. "Матрикснет" умеет оперировать десятками тысяч коэффициентов.

"Матрикснет" решает и ещё одну проблему, стоящую перед создателями поисковиков. Обычно любое изменение в алгоритме влияет на все результаты. "Матрикснет" же можно настраивать по-разному для разных групп запросов.