Одна формула и весь мир

Клод Шеннон показал, что энтропию можно не только увидеть, но и создать искусственно, пользуясь алфавитом и определенными правилами составления текста, так же как создаются вкусные блюда или хитроумные ручные поделки по рекомендациям поваренной книги или раздела журнала под рубрикой «Сделай сам».

«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»

В том же стиле можно теперь описать способ приготовления энтропии.

Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.

Проделав подобную процедуру раз 30—40, вы получите набор букв и слов⁵.

*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.

 Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.

Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:

Ра = Рб=... =Ря= 1/32

Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.

Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.

В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не ¹/₃₂, а ⁵/₃₂= ¹/₆=0,17.

Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от ¹/32.

Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.

В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О»  (р_о = 0,09), а реже всего буква «Ф» (р_ф = 0,002) ⁶.

**Сравните с вероятностью появления тех же букв в описанном эксперименте:Ро=Рф=¹/32= 0,03

 Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет р_{интервала} = 0,17.

Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.

Чтобы уяснить, как возникает порядок, попытаемся составить текст, в котором соблюдались бы реальные вероятности появления букв. Для этого нам придется вновь поместить карточки с буквами в общую коробку, но теперь понадобится не 32 карточки, а значительно больше, потому что число карточек должно быть пропорционально вероятностям появления букв (например, на две карточки с буквой «Ф», имеющей вероятность р_ф =0,002, должно приходиться 90 карточек с буквой «О», имеющей вероятность Ро =0,09 и т. д.).

Впрочем, можно не тратить времени на приготовление множества карточек с буквами. Тот же эксперимент можно проделать без карточек, используя обычный печатный текст. Ведь в тексте каждая буква будет встречаться именно с той частотой, которая соответствует ее вероятности.

Если, закрыв глаза, наугад переворачивать страницы и указывать на букву, а затем приписывать ее к ряду ранее таким же образом отобранных букв, то вы получите новый искусственный текст, в котором частота появления букв будет соответствовать вероятности их появления в русском тексте. Действуя таким образом, Р. Л. Добрушин получил фразу, помещенную в нижеприведенной таблице под номером 2.

НОМЕР ФРАЗЫФразаУСЛОВИЕ ПОЛУЧЕНИЯ ФРАЗЫ