Репортаж с ничейной земли. Рассказы об информации

Набравшись терпения, мы полчаса таскали шары из ящиков и отмечали, какой попадается шар. Записи выглядели так:

I урна: Ч, Б, Ч, Ч, Б, Ч. Б, Б, Ч, Ч, Ч, Б, Б...

II урна: Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч...

- Очевидно, Б обозначает «белый»? - спрашивает ученый. - Мы обычно пишем не так. У нас одному случаю соответствует 1, а второму - 0.

- Как в двоичном коде?

- Вот именно. Итак, белый шар - 1, черный - 0. Как теперь будут выглядеть записи?

I урна: 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1...

II урна: 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0...

- Теперь обратите внимание на одно весьма важное обстоятельство: во второй строчке цифра 0 встречается гораздо чаще, чем 1. Во втором опыте вам гораздо чаще попадались черные шары. Как вы думаете, это случайно?

- Разумеется. Ведь мы вынимали их наугад.

- Совершенно справедливо. Но во втором случае извлечение черного шара имело большую вероятность. Это легко подсчитать: здесь среди 10 шаров 9 имеют черную окраску, значит вероятность такого события составляет 9/10, или 90 процентов.

В первом ящике было 6 черных шаров. Вероятность их извлечения составляет 60 процентов. Поэтому еще до начала опыта можно было предвидеть, что из второй урны мы будем извлекать черный шар гораздо чаще, чем из первой.

Итак, мы извлекаем наугад шары сначала из первой урны, затем из второй и получаем сообщения об исходе опыта: в обоих случаях извлечен черный шар. Какое из этих двух сообщений содержит большее количество информации? Теория информации утверждает, что первое, потому что случай с четырьмя и шестью шарами имеет большую неопределенность - ведь во втором случае можно еще до получения сообщений почти безошибочно предсказать, что при повторении опыта будут чаще попадаться черные шары. Таким образом, количество информации зависит как от степени неопределенности какого-то явления, так и от меры нашего неведения о том, как и что будет происходить.

Теперь предположим, что мы продолжаем поочередно извлекать шары из второго ящика до тех пор, пока в руках у нас не окажется белый шар. Давайте отложим этот шар в сторону и продолжим наш опыт. Сколько информации будет давать нам теперь сообщение об извлечении шара? Нуль. Ведь, получив информацию о том, что из ящика извлечен единственный белый шар, мы можем уже совершенно определенно утверждать, что теперь любой извлеченный шар будет черным. Значит, мы пришли к случаю, соответствующему полному отсутствию неопределенности: вся неопределенность, заключающаяся в наличии одного белого шара, исчерпана в момент получения информации о том, что этот шар извлечен.

Что же получается? До тех пор, пока белый шар оставался в ящике, сообщение об извлечении каждого шара несло в себе определенное количество информации. Сообщение же об извлечении белого шара исчерпало всю неопределенность. Продолжая вытаскивать оставшиеся черные шары, мы будем получать сообщения об извлечении каждого шара, не получая уже никакой дополнительной информации.

Значит, с точки зрения наблюдателя, не все, содержащееся в сообщении, является информацией, а только то, что заранее ему неизвестно.

Узнаем ли мы что-либо новое из сообщения, что за июлем следует август? Об этом событии все известно заранее, в нем отсутствует неопределенность, и потому в этом случае количество информации, содержащейся в слове «август», равно нулю.

А какое количество информации получали мы, извлекая шары из урн? Чтобы выразить ее точными цифрами, надо оценить неопределенность каждого опыта. Для этого теория информации привлекает на помощь формулу энтропии, о которой я вам сейчас расскажу.

Смысл информации и информация без смысла

И впрямь удивительный это город! Даже в простых шарах заключен здесь особый, глубокий смысл. А тут еще какая-то энтропия... Впрочем, размышлять пока некогда - наш новый знакомый продолжает рассказ:

- В науке часто бывает так: стоит найти новый подход к привычным явлениям, и то, что казалось сложным и необъяснимым, не подчиняющимся никаким законам, вдруг становится простым и понятным. Порой даже кажется странным, почему люди не могли так долго уловить эту, ставшую теперь очевидной связь. Важно только четко сформулировать задачу, найти правильную точку зрения, и сразу разрозненные, бессвязные понятия и явления вдруг вливаются в единую, стройную систему, подобно тому как из разбросанных в коре земного шара вкраплений различных металлов возникают изящные стальные птицы, сверхдальние ракеты и сложные комплексы «умных» машин.