В 40-х годах ХХ века К

СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 1.Компьютерная инженерия.

В. И. Хрусталев, Р.И. Хрусталев, С.А. Сигнаевский, А.С. Себякин

Хакасский государственный университет им. Н. Ф. Катанова

Использование геометрического обобщения меры неопределенности информации в расчетах количества информации сообщения

В 40-х годах ХХ века К. Шенноном было введено понятие мера количества информации как сумма логарифмов выбора вариантов. Математически это выражение записывается следующим образом.

, (1)

где -вероятность появления события i из множества М [1].

В данном математическом выражении мера неопределенности информации Н(Х) имеет вероятностную основу и не учитывает показатели на основе которых определена вероятность.

Для того чтобы учесть не только вероятностную составляющую при расчете количества информации было введено рандомизированное расстояние как симметричная неотрицательная вещественнозначная функция удовлетворяющая следующим требованиям и. Таким образом с учетом преобразования формула К. Шеннона примет следующий вид: , (2)

и называется В-энтропией [2]. Введение рандомизированного расстояния позволит определять количество информации в сообщении более точно, т.к. будет учитываться не только вероятностная основа но и показатели на основе которых происходит вычисление вероятностей. Продемонстрируем отличия двух подходов определения количества информации на примере.

Пусть имеем 4 внешне одинаковых flash-накопителя но различной емкости 1) 4 Гб, 2) 8 Гб, 3) 16 Гб, 4) 32 Гб. Произведем случайный выбор flash-накопителя. Какое количество информации содержит данное сообщение. Если произвести расчеты по формуле К.Шеннона получим следующий результат . Используя формулу В-энтропии при вычислении получим следующий результат . Как видно при одних и тех же условиях результаты вычислений отличаются. Если в примере изменить условия и установить объем flash-накопителя следующим образом 1) 32, 2) 64, 3) 128, 4) 128 получим по формуле К.Шеннона значение , а по формуле В-энтропии . Из примера можем увидеть следующее бывают ситуации когда классическая формула К.Шеннона показывает не совсем точный расчет количества информации в сообщении в отличие от формулы В-энтропии, а использование формулы В-энтропии оправданно, так как показывает более точный результат учитывающий рандомизированное расстояние между парами исходов.

Используя В-энтропию можно производить расчеты меры неопределенности информации для реальных процессов и систем [3]. И на основе полученных данных осуществить качественный анализ системы или процесса, для выявления и устранения ошибок.

Так же можно произвести выбор из многообразия вариантов на основе В-энтропии, если показатель количества информации по классической формуле К.Шеннона будет показывать один и тот же результат.

Литература:

1. Shannon С. A Mathematical Theory of Communication. Bell System Tech. J., 1948, no. 27, pt.I., 379-423; pt.II., 623-656.

2. Леус В.А. О геометрическом обобщении энтропии / / Тр. конф., посвященной 90-летию со дня рождения А.А. Ляпунова. Новосибирск, 2001. http://www.ict.nsc.ru/ws.

3. А.С. Дулесов, В.И. Хрусталев, С.В. Швец, «Применение формулы Шеннона и геометрического обобщения для определения энтропии» Перспективы науки. Тамбов, 2010. -№3.
-C. 94-98.