Кибернетика или управление и связь в животном и машине

Я не хотел бы кончить эту главу, не сказав, что эргодическая теория — гораздо более обширный предмет, нежели здесь изложено. В некоторых новейших направлениях эргодической теории мера, остающаяся инвариантной при группе преобразований, определяется непосредственно самой группой, а не задается заранее. [c.117] В особенности я должен упомянуть работы Крылова и Боголюбова и некоторые работы Гуревича и японской школы.

Следующая глава посвящена статистической механике временных рядов. В этой области условия также очень далеки от условий, принимаемых статистической механикой для тепловых двигателей, и поэтому они весьма хорошо могут служить моделью того, что происходит в живых организмах. [c.118]

Глава III. Временные ряды, информация и связь

Существует широкий класс явлений, в которых объектом наблюдения служит какая-либо числовая величина или последовательность числовых величин, распределенные во времени. Температура, непрерывно записываемая самопишущим термометром; курс акций на бирже в конце каждого дня; сводка метеорологических данных, ежедневно публикуемая бюро погоды, — все это временные ряды, непрерывные или дискретные, одномерные или многомерные. Эти временные ряды меняются сравнительно медленно, и их вполне можно обрабатывать посредством вычислений вручную или при помощи обыкновенных вычислительных приборов, таких, как счетные линейки и арифмометры. Их изучение относится к обычным разделам статистической науки.

Но не все отдают себе отчет в том, что быстро меняющиеся последовательности напряжений в телефонной линии, телевизионной схеме или радиолокаторе точно так же относятся к области статистики и временных рядов, хотя приборы, которые их комбинируют и преобразуют, должны, вообще говоря, обладать большим быстродействием и, более того, должны выдавать результаты одновременно с очень быстрыми изменениями входного сигнала. Эти приборы: телефонные аппараты, волновые фильтры, автоматические звукокодирующие устройства типа вокодера[138] Белловских телефонных лабораторий, схемы частотной модуляции и соответствующие им приемники — по существу [c.119] представляют собой быстродействующие арифметические устройства, соответствующие всему собранию вычислительных машин и программ статистического бюро, вместе со штатом вычислителей. Необходимый для их применения разум был вложен в них заранее, так же как и в автоматические дальномеры и системы управления артиллерийским зенитным огнем и по той же причине: цепочка операций должна выполняться настолько быстро, что ни в одном звене нельзя допустить участия человека.

Все эти временные ряды и все устройства, работающие с ними, будь то в вычислительном бюро или в телефонной схеме, связаны с записью, хранением, передачей и использованием информации. Что же представляет собой эта информация и как она измеряется? Одной из простейших, наиболее элементарных форм информации является запись выбора между двумя равновероятными простыми альтернативами, например между гербом и решеткой при бросании монеты. Мы будем называть решением однократный выбор такого рода. Чтобы оценить теперь количество информации, получаемое при совершенно точном измерении величины, которая заключена между известными пределами А и В и может находиться с равномерной априорной вероятностью где угодно в этом интервале, положим А=0, В=1 и представим нашу величину в двоичной системе бесконечной двоичной дробью 0, а₁ а₂ а₃ … a_n …, где каждое а₁, а₂, … имеет значение 0 или 1. Здесь

           (3.01)

Мы видим, что число сделанных выборов и вытекающее отсюда количество информации бесконечны.

Однако в действительности никакое измерение не производится совершенно точно. Если измерение имеет равномерно распределенную ошибку, лежащую в интервале длины 0, b₁ b₂ … b_n …, где b_k — первый разряд, отличный от 0, то, очевидно, все решения от а₁ до а_k—1 и, возможно, до a_k будут значащими, а все последующие — нет. Число принятых решений, очевидно, близко к

           (3.02)

[c.120]

и это выражение мы примем за точную формулу количества информации и за его определение.

Это выражение можно понимать следующим образом: мы знаем априори, что некоторая переменная лежит между нулем и единицей, и знаем апостериори, что она лежит в интервале (а, b) внутри интервала (0, 1). Тогда количество информации, извлекаемой нами из апостериорного знания, равно

           (3.03)

Рассмотрим теперь случай, когда мы знаем априори, что вероятность нахождения некоторой величины между х и x+dx равна f₁(x)dx, а апостериорная вероятность этого равна f₂(x)dx. Сколько новой информации дает нам наша апостериорная вероятность?

Эта задача по существу состоит в определении ширины областей, расположенных под кривыми y=f₁(x) и y=f₂(x). Заметим, что, по нашему допущению, переменная х имеет основное равномерное распределение, т. е. наши результаты, вообще говоря, будут другими, если мы заменим х на х³ или на какую-либо другую функцию от х. Так как f₁(x) есть плотность вероятности, то