Истинный творец всего. Как человеческий мозг сформировал вселенную в том виде, в котором мы ее воспринимаем

1. Информация является мерой неопределенности и может быть измерена простым подсчетом количества возможных сообщений. Если через канал может пройти лишь одно сообщение, то в этом нет никакой неопределенности, а значит, и информации.

2. Информация — это неожиданность. Чем более обыденным является передаваемый по каналу символ, тем меньше информации передает канал.

3. В концептуальном плане информация соответствует энтропии — ключевому термодинамическому понятию, использованному Шрёдингером и Пригожиным для описания того, как диссипация энергии дает начало жизни из неживой материи.

К общим выводам из последнего шокирующего утверждения мы еще вернемся, но до этого важно показать, как записать статистические представления Шеннона об информации в виде уравнения. В этой математической формуле энтропия Шеннона (H) представляет собой минимальное количество битов, необходимое для точного кодирования последовательности символов, каждый из которых может встречаться с определенной вероятностью. В упрощенном виде формула выглядит следующим образом:

H (X) = ∑ p_ilog₂ p_i

где p_i представляет собой вероятность появления каждого символа, передаваемого по каналу. В этом случае H измеряется в битах информации.

Например, если канал пропускает только один 0 или одну 1 с равной вероятностью 50 % для каждого из двух символов, для точного кодирования и передачи этого сообщения нужен один бит. С другой стороны, если канал пропускает только 1 (это означает, что вероятность появления этого символа составляет 100 %), значение H равно нулю: не передается никакой информации, поскольку сообщения не содержат никакой неожиданности. Но если длинная последовательность символов состоит из миллиона независимых битов (и каждый с равной вероятностью несет либо 0, либо 1), такой канал передает 1 миллион битов информации.

По сути, определение Шеннона означает, что чем более случайной является последовательность символов (чем она более «неожиданная»), тем больше информации в ней содержится. Точно так же, когда лопается шарик, гелий переходит из состояния с низкой энтропией в состояние с высокой энтропией, и количество информации, необходимой для описания локализации каждого атома гелия, тоже увеличивается из-за увеличения неопределенности локализации атомов в пространстве гораздо большего объема. Таким образом, согласно Шеннону, энтропию можно описать как количество дополнительной информации, необходимой для определения точного физического состояния системы с учетом ее термодинамической специфики. Иначе энтропию можно воспринимать в качестве меры недостатка информации о такой системе.

Успешность шенноновской концепции информации была очевидна — она быстро преодолела границы сферы, для которой была сформулирована изначально, и перетекла во множество других дисциплин, при этом изменив многие из них, иногда радикальным образом. Например, понимание того, что длинные последовательности четырех основных нуклеотидов позволяют нитям ДНК кодировать всю информацию, необходимую для воспроизведения организмов из поколения в поколение, ввело шенноновскую концепцию информации в сферу генетики и молекулярной биологии. С открытием генетического кода начал формироваться определенный консенсус. В общих чертах этот консенсус сводится к тому, что все наши знания о вселенной можно закодировать и расшифровать в битах — в соответствии с инновационным и революционным цифровым определением информации Шенноном. В статье «Информация, физика, квант: поиски связей» один из величайших физиков прошлого столетия Джон Арчибальд Уилер отстаивал свое мнение о том, что «информация дает начало всему, каждой частице, каждому силовому полю, даже самому пространственно-временному континууму». Он описывал это с помощью выражения «Все из бита» (It from Bit), которое немедленно вошло в оборот.