Яндекс для всех

Идея делать автоматические именные указатели была навеяна журналом "Власть" и его "Лицами, упомянутыми в номере". Поскольку журналов, газет и прочих поставщиков текстовых документов в "Интегруме" больше трех тысяч, мы решили не мелочиться и сделать подобный именной указатель, но один для всех источников и полностью автоматический.

В большинстве случаев (малочисленные путины, фрадковы, грефы — не в счет), один человек за короткий промежуток времени (1–3 дня) упоминается как участник одного события. Мне показалось, что рубрики и сюжеты Яндекс. Новостей станут интереснее, а главное, читатель сможет быстрее и лучше понять, что к чему, если применить к ним ту же технологию.

Главной особенностью программы является отсутствие какого бы то ни было заранее заданного списка людей — новые несловарные фамилии автоматически определяются и приводятся к словарной форме по специфическому контексту (имя, инициалы и др.). Кроме того, с высокой точностью разграничиваются однофамильцы и разрешается родовая омонимия (ср. Валентина Матвиенко, Александра Лебедева — мужчина или женщина?).

А вот, например, с какими проблемами и ошибками пришлось столкнуться.

• Имена омонимичны обычным словам. В самом начале в "Сегодня в лицах" фигурировали такие персонажи: Гера Советского, Вячеслав Богу, Надежда Доброй.

• Фамилии могут совпадать с отчествами. Бывшие бизнес-партнеры Борис Абрамович Березовский и Роман Аркадьевич Абрамович и в придачу президент компании "КрасЭйр" Борис Михайлович Абрамович доставили нам немало хлопот.

• Некоторые фамилии склоняются, некоторые нет. И если их нет в словаре, по их внешнему виду (по буквам) понять, к какому типу относится фамилия (и если склоняется, то как) далеко не всегда удается. Ардзинба и Анкваба. Поняли, что первая фамилия в именительном падеже, а вторая — в родительном? А так похожи.

• Мужские и женские имена тоже очень часто имеют общие формы (см. ранее).

• Есть такие народы, в которых одного имени человеку недостаточно. Мы этого не понимаем и ошибаемся. Без энциклопедического багажа совершенно не понятно, сколько человек тут упомянуто: Джон Рональд Руэл Толкиен.

Как бы то ни было, но сервис Новости в лицах был создан, и через год после начала разработки был предъявлен посетителям. Сейчас этот сервис не выделяется отдельной страницей, как было при его создании, но превратился в поставщика информации для блоков Сюжеты в лицах.

Главной особенностью программы, анализирующей тексты новостей, является отсутствие заранее заданного списка персон — при обработке сообщения программа самостоятельно находит в тексте имена и фамилии и добавляет их в рейтинг.