Главная > Разное > Динамика и информация
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава I. ИНФОРМАЦИЯ И ДИНАМИКА

Данная глава имеет вводный характер. Она знакомит читателя с понятием информации в ее простейшем варианте, т.е. по Шеннону. Здесь же выясняется связь информации с энтропией. На примере идеальной газодинамики поясняется, как возникают физические классические поля в таких динамических процессах, которые описываются непрерывными функциями координат и времени. Вопрос о том, как могут быть связаны между собой динамические и информационные процессы, в данной главе пока не обсуждается. В конце главы выводится уравнение Леонтовича — уравнение для огибающей волнового пакета. Нетрудно видеть, что это уравнение похоже на квантовое уравнение Шрёдингера для волновой функции. Но на самом деле между этими двумя уравнениями имеется коренное различие: уравнение Леонтовича описывает эволюцию классического физического поля, а уравнение Шрёдингера, как будет видно из дальнейшего изложения, описывает эволюцию волн информации.

1. Информация

В наш век, когда потоки информации обрушиваются на нас буквально со всех сторон, казалось бы, нет нужды объяснять, что такое информация. Однако это не совсем так. Существует точное математическое определение объема информации, и для тех, кто раньше с этим понятием не встречался, мы постараемся объяснить, что это такое.

Самый привычный вид информации — это печатное слово. Например, текст, который Вы читаете, дает Вам возможность воспринимать информацию, заложенную в эту книгу. Она содержится в символах, расположенных построчно, — это буквы, пробелы между словами, знаки препинания. Представляется совершенно очевидным, что чем больше страниц текста, тем большее количество информации содержится в этом тексте. Но чтобы определить объем информации в виде конкретного числа, удобно начать с очень упрощенного примера. Допустим, что наш текст передается с помощью азбуки Морзе, когда каждой букве сопоставляется некоторый набор точек и тире. Более того, рассмотрим упрощенный случай, когда

текст идет подряд без всяких промежутков между буквами и словами. Тогда мы увидим одну сплошную ленту только из точек и тире. В каждой позиции может быть только один из двух символов: либо точка, либо тире. Когда имеется только один из двух вариантов символов, то принято говорить, что каждая из ячеек имеет один бит информации. Вся лента Морзе, имеющая N символов, содержит N бит информации. Можно сказать, что такая лента "запомнила" определенный текст, и в каждой из ее N "ячеек памяти" заложен один бит информации. Полное количество различных текстов, которые можно записать на ленте из N ячеек, равно, очевидно,

Если мы условимся измерять объем информации в битах, то для соответствующей величины информации можно записать [14] соотношение

Здесь - это логарифм при основании -полное число различных текстов. Согласно (1) объем информации равен просто минимальному числу двоичных ячеек, с помощью которых эту информацию можно записать.

Соотношение (1) можно представить в несколько ином виде. А именно, если у нас имеется множество различных текстов, вероятность того, что читаемый нами текст совпадет с наугад выбранным из различных текстов, равно, очевидно, Поэтому вместо (1) можно использовать выражение

Чем больше тем меньше величина и тем больше объем информации содержащейся в данном конкретном тексте.

Вернемся теперь к обычному буквенному тексту. Пусть число букв алфавита равно 32 (как, например, в русском алфавите без буквы Число и, следовательно, достаточно иметь пять двоичных ячеек, чтобы каждой букве сопоставить одну единственную комбинацию, например, из точек и тире. Если к строчным буквам добавить еще прописные, то число букв удвоится до 64 и потребуется еще один бит информации. Тогда объем информации на одну букву, строчную или заглавную, станет равным Добавление интервалов между словами и знаков препинаний дополнительно увеличивает величину информации, приходящуюся на один знак текста.

Однако такой прямой подсчет объема информации на один знак не вполне точен. Дело в том, что в алфавите имеются буквы, которые встречаются в тексте крайне редко. В азбуке Морзе на такие буквы можно истратить больше точек и тире, а на часто используемых буквах

можно, наоборот, сэкономить, сопоставляя им более короткие "отрезки" ленты. Точное определение количества информации было установлено Шенноном [15]. Оно выглядит следующим образом:

Здесь суммирование проводится по всем символам, а означает вероятность появления символа с номером Общее выражение (3) охватывает и часто используемые буквы, и те буквы, у которых вероятность появления в тексте очень мала. В выражении (3) используется натуральный логарифм: соответствующую ему единицу информации называют "нат".

Как известно из теории вероятностей, для случайной величины можно ввести определение среднего значения, или математического ожидания, по формуле

где суммирование производится по всем возможным реализациям случайной величины х с вероятностью р, для реализации. Как мы видим, выражение (3) можно записать также в виде

Если речь снова идет о тексте, а величина относится к одной ячейке текста, т.е. к одному знаку, то — это вероятность появления символа с номером Например, если это буква "а", то соответствующую вероятность можно найти, подсчитывая, сколько раз буква "а" встречается на одной странице, и деля полученное число на полное число знаков на одной странице.

Если известна величина информации (3), относящаяся к одному знаку, то для текста из N знаков эту информацию следует увеличить просто в N раз. Разумеется, формулой (3) можно пользоваться и для всего текста. При этом вероятности существенно меньше, поскольку резко возрастает число возможных комбинаций, а результат останется тем же: информацию одного знака нужно умножить на

В формулах (2) и (3) используются логарифмы при разных основаниях: в (2) — это логарифм при основании 2, а в (3) — натуральный логарифм. Поскольку для любого числа N справедливы соотношения , то имеем

Другими словами, число бит почти в полтора раза больше числа нат.

Как мы увидим ниже, для рассуждений в физике (а не в компьютерной технике) удобнее пользоваться информацией по Шеннону (3), т.е. измерять ее в натах. При желании с помощью (6) можно найти затем число бит, отвечающих заданной величине Информация по Шеннону (3) может использоваться не только для текста, но и для любой другой дискретной (цифровой) информации. Например, черно-белое изображение на телевизоре можно разложить на множество дискретных точек белого и черного цветов, а также нескольких промежуточных серых оттенков. Тогда величина (3) определит объем информации для данного мгновенного изображения на экране. Аналогичное определение годится также для цветного изображения на экране телевизора или для бумажного отпечатка из-под принтера, если соответственным образом учесть информацию цветового оттенка.

Как мы увидим ниже, информация (3) играет большую роль в физических неравновесных процессах. Подчеркнем, что речь идет именно о числовом выражении объема информации безотносительно к его смысловому содержанию.

<< Предыдущий параграф Следующий параграф >>
Оглавление