Компьютерная лингвистика для всех: Мифы. Алгоритмы. Язык

Анатолий Васильевич Анисимов Компьютерная лингвистика для всех: Мифы. Алгоритмы. Язык

ОТ АВТОРА

Эта книга — независимое продолжение предыдущего рассказа об алгоритмах и творчестве.[1] На этот раз речь пойдет о языке и его алгоритмах.

В начале было слово… Почему так? Когда-то язык был слабым отражением вещей в сознании человека, прозрачной зыбкой гранью, отделяющей человека от мира неживой материи. Сейчас язык развился настолько, что сам проявляет тенденцию к независимому движению и управляет развитием разума. Он сконцентрировал в себе все тайны Вселенной, в нем скрыты ответы на извечные вопросы бытия. Проникновение в эти тайны — такая же трудная, но увлекательная задача, как познание тайн микромира и космоса.

Язык — самое древнее и самое загадочное приобретение человека, а лингвистика, наука о языке, — древнейшая из наук. Первые философы были поэтами, а проницательные философы всегда призывали к изучению языка. Лучшие средневековые трактаты по логике написаны грамматистами, и нет сомнений в том, что в XXI в. лучшие трактаты по лингвистике напишут программисты. Развиваясь, язык раскрывает методы собственного познания. Об этом будет идти речь в книге. Возможно, когда-нибудь обнаружится, что исследования происхождения мифов предвосхитили изучение тайн гравитации и элементарных частиц. Мифы до конца еще не расшифрованы.

Компьютерная лингвистика занимается проблемой компьютерного понимания естественного языка. Язык и мышление человека неразрывно связаны. Поэтому, разгадывая алгоритмы языка, человек тем самым пытается расшифровать алгоритмы разума. Эти многочисленные и настойчивые попытки привели к новому пониманию проблемы. Язык рассматривается как сложная алгоритмическая система. В ней обнаружены свои алгоритмы функционирования и законы развития. Человек — интерпретатор языка, поэтому ему отводится главенствующее положение в этой системе. Такой системный подход требует обобщенного междисциплинарного изучения языка, затрагивающего все пласты его проявлений. Психолингвистика, семиотика, мифология, религия, древняя и современная литература, теория алгоритмов, программирование, оптимальное управление и многие другие направления сконцентрированы в языковой системе.

Перед автором стояла задача ввести неподготовленного, но думающего читателя в сложный, загадочный мир. Да и мир этот возник только недавно и отражает представления автора. Поэтому здесь не будет застывших догм и нравоучений, громоздких барьеров грамматики и сложных технических схем. А будет (возможно, оно покажется кому-то рискованным) небольшое путешествие во времени по стране языка. Будут первобытные ночи, притаившиеся охотники и их многоликие жертвы, старинные зеркала, загадочные лабиринты, страшные сны, тексты Борхеса, летящие слова и, конечно, компьютеры, повторяющие путешествие.

1 АЛГОРИТМЫ И МИР

Мы — дети хаоса, и глубоко в основе каждого изменения скрыт распад. Изначально существует только процесс рассеяния, деградации; все захлестывают волны хаоса, не имеющего причин и объяснений. В этом процессе отсутствует какая- либо изначальная цель, внем есть только непрерывное движение. Однако, как мы убедились, и в этом движении возможны различные направления, выбор которых диктуется случаем.

П. Эткинс. Порядок и беспорядок в природе

НАЧАЛО

Существует Вселенная, существует человек, объясняющий мир, выражающий эти объяснения колебаниями звука, жестами или письменными знаками. В вечном движении мира действуют свои закономерности, отражающиеся в языке. Поэтому, исследуя структуры языка, человек познает законы мира. Кроме числовых количественных соотношений, изучаемых математикой, в природе существуют универсальные правила, относящиеся к динамической структуре изменений и превращений материи. Они невыразимы количественными соотношениями, описываемыми математическими формулами. Это законы развития и взаимодействия. Они демонстрируются в языках искусства, в литературе, музыке, живописи. Поиск строгих формальных выразительных средств для выражения и изучения законов развития и взаимодействия начался в давние времена. Об этом думали и Пифагор, потрясенный несоизмеримостью диагонали и сторон квадрата, и Платон, построивший теорию диалогического взаимодействия для поиска истинных суждений, и молодой Галуа, в ночь накануне смертельной дуэли доказавший невозможность решения общих полиномиальных уравнений в радикалах, и Эйнштейн, искавший законы взаимодействия гравитации и вещества.