Игра разума. Как Клод Шеннон изобрел информационный век

Для Хартли все эти договоренности о значении словарей символов зависели от «психологических факторов» – от этих двух непонятных слов. Некоторые из символов были относительно фиксированные (азбука Морзе, к примеру), но значения большинства других варьировались в зависимости от языка, личности, настроения, тональности голоса, времени дня и т. д. Там не было точности. Если следуя логике Найквиста, количество информации имело отношение к выбору из некоего количества символов, тогда первым необходимым требованием было выяснить количество символов, свободных от капризов психологии. Наука об информации должна была различать сообщения, которые мы называем тарабарщиной, и те, которые несут смысл. Поэтому в одном из ключевых параграфов своей работы Хартли объяснял, как начать воспринимать информацию не в психологическом, а в физическом смысле: «Оценивая возможности физической системы передавать информацию, мы должны игнорировать вопрос интерпретации, осуществлять каждый выбор абсолютно условно и основывать наши результаты на возможности того, что приемное устройство разлимит результат выбора одного символа от результата выбора любого другого символа».

Таким образом, Хартли теоретически закрепил те самоочевидные знания, которые были уже накоплены сотрудниками телефонной компании – суть их заключалась в самой передаче информации, а не в ее интерпретации. И так же как в мысленном эксперименте с телеграфной связью, управляемой катящимся шариком, единственные требования, чтобы символы легко проходили по каналу связи и чтобы человек, находящийся на том конце, мог разобрать их.

На самом деле реальная мера информации заключена не в символах, которые мы отправляем, а в тех, которые мы могли бы отправить, но не отправили. Отправить сообщение – значит сделать выбор из библиотеки возможных символов, и «при каждом сделанном выборе будут исключенные символы – те, которые могли бы быть выбраны». Выбрать – значит избавиться от альтернативных вариантов. Наиболее наглядно мы можем видеть это, объяснял Хартли, в тех случаях, когда сообщения несут смысл. «Так, к примеру, в предложении “яблоки красные” (apples are red) первое слово исключает все другие виды фруктов и все другие предметы. Второе слово указывает на некое свойство или состояние яблок, а третье отменяет другие возможные цвета». Этот повторяющийся процесс отмены применим к любому сообщению. Информационная ценность символа зависит от количества отброшенных при выборе альтернатив. Символы, взятые из больших словарей, несут больше информации, чем символы из маленьких словарей. Информация измеряет свободу выбора.

В данном случае мысли Хартли относительно выбора явно перекликались с пониманием Найквистом текущих значений. Но если Найквист демонстрировал это применительно к телеграфии, то Хартли доказал, что это одинаково справедливо для любой формы связи. Идеи Найквиста оказались своеобразным «подклассом» идей Хартли. Если смотреть шире, в тех дискретных сообщениях, в которых символы посылались по одному за раз, лишь три переменных величины обусловливали количество информации: количество k-символов, отправленных в секунду, размер s-группы возможных символов и длина n-сообщения. Имея эти величины и определив количество передаваемой информации символом Н, мы получаем:

H = k log sⁿ.

Если мы делаем случайные выборы из набора символов, то количество возможных сообщений возрастает в геометрической прогрессии, по мере того как растет длина сообщения. Так, к примеру, в английском 26-буквенном алфавите существуют 676 возможных двухбуквенных цепочек (или 26²), но 17 576 трехбуквенных (или 26³). Хартли, как и Найквист до него, посчитал это неудобным. Мера информации была бы более удобной в работе, если бы она увеличивалась последовательно с каждым добавленным символом, а не разбухала в геометрической прогрессии. В этом смысле о телеграмме, состоящей из 20 букв, можно сказать, что она содержит в два раза больше информации, чем телеграмма, состоящая из 10 букв, при условии, что оба сообщения были написаны с помощью одного алфавита. Это объясняет, что делает логарифм в формуле Хартли (и Найквиста): он преобразовывает экспоненциальное изменение в последовательное. Для Хартли это было вопросом «практической инженерной ценности»[4].