Методы и модели оценки количества информации

Для теоретической информатики информация играет такую же роль, как и вещество в физике. И подобно тому, как веществу можно приписывать довольно большое количество характеристик: массу, заряд, объем и т. д., так и для информации имеется пусть и не столь большой, но достаточно представительный набор характеристик. Как и для характеристик вещества, так и для характеристик информации имеются единицы измерения, что позволяет некоторой порции информации приписывать числа — количественные характеристик! информации.

На сегодняшний день наиболее известны следующие способ измерения информации: объемный, энтропийный, алгоритмический.

Объемный является самым простым и грубым способом измерения информации. Соответствующую количественную оценку?
информации естественно назвать объемом информации.

Объем информации в сообщении — это количество символов в сообщении.

В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме (с использованием алфавита, состоящего всего из двух символов 0 и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт — это восемь бит. Более подробно эти единицы измерения будут рассмотрены в разделе «Формы пред­ставления и преобразования информации».

В теории информации и кодирования принят энтропийный подход к измерению информации. Этот способ измерения исходит из следующей модели. Получатель информации (сообщения) имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны ни выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

Поясним эту идею на простом примере. Пусть имеется колода карт, содержащая 32 различные карты. Вероятность выбора одной карты из колоды равна 1/32. Априори (доопытно, до произведения выбора) естественно предположить, что наши шансы выбрать некоторую определенную карту одинаковы для всех карт колоды. Произведя выбор, мы устраняем эту априорную неопределенность. Нашу априорную неопределенность можно было бы охарактери­зовать количеством возможных равновероятностных выборов. Если теперь определить количество информации как меру устраненной неопределенности, то и полученную в результате выбора инфор­мацию можно охарактеризовать числом 32.