Игра разума. Как Клод Шеннон изобрел информационный век

Этим своим озарением Шеннон поделился с Германом Вейлем в Принстоне в 1939 году. Прошло почти десять лет, прежде чем он смог подвести под эту идею теоретическую базу: информация стохастична. Ее нельзя назвать ни абсолютно непредсказуемой, ни абсолютно определенной. Она разворачивается в приблизительно предсказуемых формах. Вот почему классическая модель стохастического процесса – это пьяный человек, который идет, спотыкаясь, по улице. Он идет не по прямой линии, и мы не можем с точностью предсказать его путь. Каждый его крен выглядит как случайность. Но если понаблюдать за ним достаточно долго, мы заметим, что в его движениях присутствуют определенные модели, которые при желании можно было бы зафиксировать. Постепенно мы бы довольно точно вычислили те места на тротуаре, на которых он, вероятнее всего, мог бы оказаться. И наши оценки были бы еще более достоверными, если бы мы начали с изучения общего характера походки пьяных людей. Так, к примеру, их тянет к фонарным столбам.

Как это ни удивительно, но Шеннон продемонстрировал, что данная модель также описывает поведение сообщений и языков. При общении на любом языке определенные правила ограничивают нашу свободу выбирать последующую букву и последующий ананас[5]. Так как эти правила делают одни модели наиболее вероятными, а другие – практически недопустимыми, то такие языки, как английский, почти лишены полной неопределенности и максимальной информативности: сочетание «th» встречалось в этой книге уже 6431 раз, сочетание «tk» – только один. С точки зрения специалиста в области теории информации, наши языки ужасно предсказуемы – до скучного предсказуемы.

Чтобы доказать это, Шеннон провел оригинальный эксперимент с исковерканным текстом. Он показал, как, оперируя стохастическими методами, можно сконструировать нечто, напоминающее английский язык, с нуля. Шеннон начал абсолютно произвольно. Он открывал книгу на случайно попавшейся странице, тыкал пальцем в одну из строк и выписывал соответствующую букву 27-символьного алфавита (26 букв плюс пробел). Он называл это «аппроксимацией нулевого порядка». Вот что у него получилось:

XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD.

Здесь равные вероятности для каждого знака, и ни один из знаков не «тянет» за собой другой знак. Это печатный эквивалент помех. Вот как выглядел бы наш язык, если бы он был абсолютно неопределенным, а значит, абсолютно информативным.

Но в английском языке присутствует определенность. Во-первых, мы знаем, что некоторые буквы встречаются чаще других. За сто лет до Шеннона Сэмюэл Морзе (вдохновленный экспериментами с печатной машинкой) использовал свои догадки о частоте появления букв и включил их в свой телеграфный код, обозначив букву Е одной точкой, а букву Q – более громоздкой конструкцией тире-тире-точка-тире. Морзе правильно разобрался: во времена Шеннона было уже известно, что примерно 12 процентов английского текста составляет буква Е, и всего 1 процент – буква Q. Вооружившись таблицей с частотой появления букв в тексте и своей книгой о случайных числах, Шеннон занялся подсчетом вероятностей для каждой буквы. Это «аппроксимация первого порядка»:

OCRO HU RGWR NMIELWIS EU LL NBNESEBYA ТН EEI ALHENHTTPA OOBTTVA NAH BRL.

Не стоит забывать о том, что мы знаем: наша свобода вставить какую-то букву в строчку английского текста также ограничена стоящей впереди буквой. Буква К часто идет после С, но почти невозможна после Т. Буква Q требует буквы U. У Шеннона были таблицы частоты появления этих «биграмм». Но вместо того чтобы повторять этот утомительный процесс, уверенный в своей правоте, он воспользовался более незамысловатым методом. Чтобы построить текст с разумной частотой биграмм, действуют таким образом: «Человек открывает книгу наугад и выбирает наугад любую букву на открывшейся странице. Эта буква записывается. Затем книга открывается на другой странице, и человек читает ее, пока не находит эту же букву. Следующая за ней буква записывается. На очередной странице ищется эта вторая буква и записывается та, которая идет за ней следом, и т. д.». Если все идет правильно, тогда получившийся текст будет отражать ту вероятность, с которой каждая буква следует за другой в английском языке. Это «аппроксимация второго порядка»:

ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.

Буквально из ничего стохастический метод позволил вслепую создать пять английских слов (шесть, если мы добавим апостроф и посчитаем как слово ACHIN’). «Аппроксимация третьего порядка» – тот же метод поиска триграмм – подводит нас все ближе к сносному английскому:

IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE.

He только эти двух- и трехбуквенные сочетания часто встречаются вместе, но и целые цепочки букв в других словах. А вот «аппроксимация слов первого порядка» с использованием частоты появления целых слов: