СОВРЕМЕННЫЕ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 2. Вычислительная техника и программирование
В. И. Хрусталев, Р.И. Хрусталев, С.А. Сигнаевский,
А.С. Себякин
Хакасский государственный университет им. Н. Ф. Катанова
Применение геометрического обобщения
меры неопределенности информации в задаче определения количества информации
сообщения
Еще в 40-х годах двадцатого века
выдающимся ученым К. Шенноном было введено в обиход такое понятие как мера
количества информации представляющая собой сумму логарифмов выбора вариантов.
Математически это выражение записывается следующим образом.
, (1)
где 
-вероятность
появления события i из множества М [1].
В рассмотренном математическом выражении
мера неопределенности информации Н(Х) имеет вероятностную основу,
показатели на основе которых определена вероятность не учитываются.
Чтобы помимо вероятностной составляющей
учесть и значения на основе которых была определенна вероятность события было
введено рандомизированное расстояние 
как симметричная
неотрицательная вещественнозначная функция удовлетворяющая следующим
требованиям 
и
. Таким образом с классическая формула К. Шеннона с учетом преобразований примет следующий вид: 
, (2)
и называется В-энтропией [2]. Введение
рандомизированного расстояния 
позволит определять
количество информации в сообщении более точно, т.к. будет учитываться не только
вероятностная составляющая сообщения но и значения на основе которых рассчитываются
значения вероятностей. Ниже приведем пример расчета количества информации по
формуле К. Шеннона и с учетом преобразований по формуле В-энтропии.
Пусть имеем 4 внешне одинаковых DVD-диска но различной емкости 1) 4 Гб, 2) 8 Гб, 3) 16
Гб, 4) 32 Гб. Произведем случайный
выбор DVD-диска. Какое количество информации содержит данное
сообщение. Произведя расчеты по формуле К.Шеннона, получим следующий результат 
, т.е. сообщение содержит 2 бита информации. Используя формулу
В-энтропии для расчета количества информации, получим следующий результат 
, т.е. сообщение содержит 0,79 бита информации. При одних и
тех же поставленных условиях и значениях показателей результаты вычислений
отличаются. Рассмотрим еще один пример. Необходимо произвести случайный выбор
из 4 внешне одинаковых DVD-диска разной
емкости 1)
32Гб 2) 64Гб 3) 128Гб 4) 256Гб произведя расчеты по формуле К.Шеннона получим
следующее значение 
, а по формуле В-энтропии 
. Как мы видим в двух приведенных экспериментах бывают
ситуации когда классическая формула К.Шеннона рассчитывает значение энтропии
информации одинаково для разных примеров, не учитывая значения показателей в
отличие от формулы В-энтропии, а использование формулы В-энтропии оправданно,
так как показывает более точный результат учитывающий рандомизированное
расстояние между парами исходов.
Используя формулу В-энтропии возможно
производить расчеты используя значения показателей реальных процессов и систем
[3]. И на основе полученных данных осуществлять качественный анализ системы или
процесса, для выявления и устранения узких мест.
Так же можно произвести выбор из
многообразия вариантов опираясь на формулу В-энтропии, если показатель
количества информации по классической формуле К.Шеннона будет показывать один и
тот же результат.
Литература:
1.
Shannon С. A Mathematical Theory of
Communication. Bell System Tech. J., 1948, no. 27, pt.I., 379-423; pt.II.,
623-656.
2.
Леус В.А. О геометрическом обобщении
энтропии / / Тр. конф., посвященной 90-летию со дня рождения А.А. Ляпунова.
Новосибирск, 2001. http://www.ict.nsc.ru/ws.
3.
А.С. Дулесов, В.И.
Хрусталев, С.В. Швец, «Применение формулы Шеннона и геометрического обобщения
для определения энтропии» Перспективы науки. Тамбов, 2010. -№3.
-C. 94-98.