Игра разума. Как Клод Шеннон изобрел информационный век

Оставалось только проделать работу по отправке или кодированию сообщения: сконструировать надежные системы, которые бы отсекли ненужную избыточность наших сообщений в источнике отправки и воссоздали их в точке получения. Шеннон вместе с инженером МТИ Робертом Фано сделал первые важные шаги в этом направлении, а в одной из научных статей, которую он написал спустя время после того, как была опубликована его знаменитая работа, Шеннон объяснил, как будет работать код, сокращающий избыточность. Все зависит, утверждал он, от статистической природы сообщений: от вероятности, с которой белый пиксель оказывается рядом с другим белым пикселем на изображении, или от частоты появления букв, диграмм и триграмм, которые делают генерированные в произвольном порядке отрывки все более похожими на английский язык. Представьте, что в нашем языке всего четыре буквы: А, В, С и D. Представьте, что этот язык, как любой другой, со временем начинает обрастать шаблонами. Со временем половина букв оказывается буквой А, четверть букв оказывается буквой В, а буквы С и D составляют каждая по одной восьмой. Если бы мы захотели отправить сообщение на этом языке по радиоволнам в виде символов 0 и 1, какой код был бы самым лучшим?

Возможно, мы сделаем выбор в пользу очевидного решения: каждая буква получает одинаковое количество битов. Для четырехбуквенного языка нам потребуются два бита для каждой буквы:

А = 00

В = 01

С= 10

D = 11

Но мы можем поступить лучше. На самом деле, когда скорость передачи сообщения становится таким ценным ресурсом (вспомните все то, что вы не можете сделать с модемом коммутируемой линии передачи), мы вынуждены поступить лучше. И если мы будем держать в уме статистику этого конкретного языка, то это получится. Нужно всего лишь использовать минимальное количество битов для самых распространенных букв и применять лишь самые громоздкие цепочки для самых редких букв. Другими словами, менее «неожиданная» буква кодируется наименьшим количеством битов. Представьте, что Шеннон предложил нам использовать другой код:

А = О

В = 10

С = 110

D = 111[7].

Чтобы доказать, что этот код более эффективен, мы можем увеличить количество битов для каждой буквы, полагаясь на тот случай, что появится каждая буква и это даст нам среднюю величину битов для каждой буквы:

(1/2) 1 + (1/4) • 2 + (1/8) • 3 + (1/8) • 3 = 1.75.

Сообщение, отправленное с этим вторым кодом, менее избыточно: вместо того чтобы использовать 2 бита на каждую букву, мы можем выразить идентичную идею более компактно – 1,75. Оказывается, что 1,75 – особое число в этом четырехбуквенном языке – это также количество информации в битах, заключенное в любой букве. И здесь мы достигаем предела. Для данного языка невозможно создать более эффективный код. Он максимально наполнен информацией: ни один знак не потрачен впустую. Первая теорема Шеннона показывает, что более сложные источники (аудио, видео, ТВ, веб-страницы) могут быть эффективно сжаты подобным – если не более сложным – образом.

Коды данного типа – впервые использованные Шенноном и Фано, а затем усовершенствованные студентом Фано, Дэвидом Хаффманом, и десятками других ученых, – являются столь значимыми, потому что существенно расширяют диапазон ценных с точки зрения информативности сообщений. Если бы мы не смогли сжать наши сообщения, то единственный аудиофайл загружался бы у нас несколько часов, поток веб-видео был бы невозможно медленным, а многочасовые просмотры телевизора потребовали бы многочисленных полок с пленками, а не маленькой коробки с дисками. Благодаря тому, что мы можем сжать наши сообщения, видеофайлы становятся компактнее в двадцать раз. Весь этот процесс связи – быстрее, дешевле и объемнее – основан на осознании Шенноном нашей предсказуемости. Вся эта предсказуемость должна быть убрана; со времен Шеннона наши сигналы проходят в «облегченном виде».

Шеннон дал всем последующим поколениям инженеров ориентир, а также возможность понять, когда они бессмысленно теряют время.

Но при этом они подвержены риску. Каждый сигнал подвержен действию помех. Каждое сообщение может быть повреждено, прервано, искажено. А самые масштабные сообщения, самые сложные импульсы, посылаемые на самые дальние расстояния, легче всего исказить. Когда-то уже совсем скоро – не в 1948 году, а при жизни Шеннона и его коллег по «Лабораториям Белла» – человеческая коммуникация должна была достичь пределов своих стремлений, если бы не была решена проблема с шумом.

Это было задачей второй фундаментальной теоремы Шеннона. В отличие от первой, которая временно исключала шум из уравнения, вторая учитывала реалии и показывала нам границы нашей точности и скорости в рамках шумного мира. Понимание этих границ требовало исследования не только того, что мы хотим сказать, но и способов, как мы это скажем, а именно качества канала связи, будь то телеграфная линия или оптоволоконный кабель.