СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 1.Компьютерная  инженерия.

В. И. Хрусталев, Р.И. Хрусталев, С.А. Сигнаевский, А.С. Себякин

Хакасский государственный университет им. Н. Ф. Катанова

Определение меры неопределенности информации с использованием формулы Шеннона

В настоящее время компьютерные технологии широко используются в различных сферах деятельности человечества. Не стали исключением и процессы экономического характера, управления и бизнеса. Профессионалы работающие в этой сфере в своих работах активно используют компьютерные технологии, что позволяет улучшать и дорабатывать уже известные подходы применительно к достижению поставленных целей.

На сегодняшний день информационные технологии являются бурно развивающемся направлением современного общества, в связи с этим существует большое разнообразие количества определений понятия «информация»

Приведем четыре из них [1]:

1. Информация есть сущность, сохраняющаяся при вычислимом изоморфизме.

2. Информация о какой-либо предметной области (её объектах, явлениях и пр.) есть результат гомоморфного (то есть сохраняющего основные соотношения) отображения элементов этой предметной области в некоторые отторжимые от этих элементов сущности – сигналы, характеристики, описания.

3. Информация – это содержательное описание объекта или явления.

4. Информация, заключенная в сообщении, есть сущность, определяющая изменение знаний при получении сообщения.

В первом варианте определение математически соотносится с моделями реальных объектов, во втором – с помощью формальных сигналов осуществляется формализация информационных характеристик объекта. Очевидно, что в третьем случае определение помимо содержательности сведений об объекте, обращает внимание на процесс передачи этих сведений. В четвертом случае для получателя сообщение является важным, если сведения об объекте обладают новизной.

В настоящее время происходит активное развитие теории информации и подходов к измерению количества информации. Эти подходы можно разделить на пять основных видов:

1. Энтропийный;

2. Алгоритмический;

3. Комбинаторный;

4. Семантический;

5. Прагматический.

Первый подход получил применение в задачах количественного определения сложности системы и уровня внешних воздействий, второй – для описания (воссоздания) объекта, четвертый – для описания содержательной части сообщения, передаваемого её получателю, пятый – обращает внимание на полезность передаваемой информации [2].

Остановимся более подробно на энтропийном подходе. Суть подхода заключается в применении математических выражений Клода Шннона предложенного в 1949 году в работе «Математическая теория связи» [3]. В нем при уменьшении вероятности отдельного сообщения количество информации увеличивается. Получается что количество информации определяется как сумма логарифмов доступных выборов. Формула Шеннона имеет вид:

, (1)

где -вероятность появления события i из множества М.

В данном математическом выражении мера неопределенности информации Н(Х) позволяет измерить количественно информацию.

Для более подробного рассмотрения процесса определения меры неопределенности информации рассмотрим пример.

Пусть у нас имеется 32 компьютера, из них 8 с процессором Intel. Произведем случайный выбор одного из 32 компьютеров. Какое количество информации содержит сообщение, что выбранный компьютер с процессором Intel?

При таком выборе каждый компьютер с одинаковой вероятностью 1/32 может быть с процессором фирмы Intel. Сообщение что компьютер с процессором фирмы Intel лишь частично снимает неопределенность выбора. Количество информации можно определить как уменьшение неопределенности до и после сообщения по формуле I=H_до – H_после. Для равновероятных исходов неопределенность можно вычислить по формуле Хартли Н_до = log₂(32)=5бит, Н_после = log₂(8)=3бита, I = 5 -3 = 2 бита. С учетом свойств логарифмов этот же результат можно вычислить по формуле I=log₂(32)-log₂(8)=log₂(32/8)=2 бита.

Точно так же можно производить расчеты меры неопределенности информации для реальных процессов и систем. И на основе полученных данных производить анализ качества системы или процесса, для выявления и устранения ошибок.

Литература:

1. Н.А.Кузнецов, «Информационное взаимодействие в технических и живых системах», Информационные процессы, Том 1, № 1, 2001, стр. 1–9.

2. А.С. Дулесов, В.И. Хрусталев, С.В. Швец, «Применение формулы Шеннона и геометрического обобщения для определения энтропии» Перспективы науки. Тамбов, 2010. -№3.
-C. 94-98.

3. Shannon С. A Mathematical Theory of Communication. Bell System Tech. J., 1948, no. 27, pt.I., 379-423; pt.II., 623-656.