Игра разума. Как Клод Шеннон изобрел информационный век

Будучи творением рук полуграмотного пирата, код был достаточно легким для разгадывания. В более сложных шифрах задействуется самое разное количество уловок, чтобы затруднить подсчет частот: смена алфавита кода в середине сообщения, исключение двойных гласных и двойных согласных, не использование буквы е. Те коды, которые Шеннон тестировал для Рузвельта, и те, что Тьюринг разгадывал для Черчилля, были еще более изощренными. Но в конечном счете дешифровка сообщений была возможна и остается возможной, потому что каждое сообщение отталкивается от базовой реальности человеческой связи, в которой всегда присутствует избыточность. Общаться – это значит делать себя предсказуемым.

Это были те интуитивные знания, накопленные многими поколениями криптографов, которые Шеннон официально закрепил в своей работе по теории информации: криптография работает потому, что наши сообщения весьма и весьма далеки от того, чтобы быть полностью неопределенными. Следует отметить, что работа Шеннона в области криптографии была не единственной, что подготовила его прорыв в науке об информации: он начал размышлять об информации задолго до того, как стал заниматься кодами – на самом деле еще до того, как он узнал, что проведет несколько лет, работая криптографом на американское правительство. В то же время работа Шеннона в области информационной теории и работа шифровальщиком имела один источник – его интерес к неизученной статистической природе сообщений, построенный на догадке о том, что овладение этой природой может расширить наши возможности связи. Впоследствии он объяснит: «Я писал [работу по информационной теории], которая стала в некотором смысле оправданием тем усилиям и времени, потраченными мною на [криптографию], по крайней мере в моем представлении… Но была эта тесная связь. Я имею в виду, что эти вещи очень похожи… Информация в одном случае пытается скрыть это, а в другом – это передать».

С точки зрения Шеннона, свойство сообщений, которое делает дешифровку возможной – это избыточность. Историк криптографии, Дэвид Кан, объяснял это следующим образом: «Грубо говоря, избыточность означает, что в сообщении передается больше символов, чем фактически нужно, чтобы донести информацию». Информация разрешает неопределенность; избыточность – это каждая часть сообщения, которая не говорит нам ничего нового. Каждый раз, когда мы можем догадаться, что последует дальше, мы имеем дело с избыточностью. Буквы могут быть избыточными: за Q почти автоматически следует U, и эта буква сама по себе почти ничего не говорит нам. Мы легко можем отбросить ее и еще много других букв. Как сказал Шеннон: «MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC».

Слова могут быть избыточными: артикль «the» – почти всегда грамматическая формальность, и его без всякого ущерба для восприятия можно убрать. Пират-криптограф из рассказа По поступил бы мудро, если бы отсек каждый артикль «the» или «;48»: это была та самая щель, которой так успешно воспользовался Легран. Избыточными могут быть и целые сообщения: во всех тех случаях, когда наши ответы известны заранее и мы можем говорить и говорить и не сказать ничего нового. В представлении Шеннона избыточные символы – это все те, без которых мы можем обойтись, каждая буква, слово или строчка, которые мы можем убрать, не исказив информации.

По мере того как аппроксимации текста становились все более похожими на английский язык, они делались все более и более избыточными. И если подобная избыточность вырастает из правил, которые сдерживают нашу свободу, то это диктуется практическими реалиями общения друг с другом. Любой человеческий язык крайне избыточен. С беспристрастной точки зрения специалиста в области теории информации, большую часть того, что мы говорим – руководствуясь ли традициями, грамматикой или привычками, – можно было бы и не говорить. Занимаясь теоретическими вопросами связи, Шеннон пришел к выводу, что, несмотря на богатство английского языка, любой английский текст можно урезать вдвое, не боясь нарушить его восприятие: «Половина того, что мы пишем на английском, обусловлена структурой языка, а половину мы выбираем сами». Позднее его оценка избыточности языка выросла до 80 процентов: лишь один из пяти знаков реально обладал информацией.

Если так, рассуждал Шеннон, то нам повезло, что эта избыточность не выше. А если бы она была выше, то не было бы никаких кроссвордов. При нулевой избыточности, в условном мире, где «RXKHRJFFJUJ» – это слово, «любая последовательность букв является возможным текстом данного языка, а любые два ряда букв образуют кроссворд». Чем выше уровень избыточности, тем меньше возможных последовательностей, а количество потенциальных пересечений сокращается: если бы английский был более избыточным, то стало бы практически невозможно составлять головоломки. С другой стороны, если бы английский был чуть менее избыточным, рассуждал Шеннон, мы бы заполняли кроссворды в трех измерениях.