СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 2. Вычислительная техника и программирова­ние

В. И. Хрусталев, Р.И. Хрусталев, С.А. Сигнаевский, А.С. Себякин

Хакасский государственный университет им. Н. Ф. Катанова

Определение геометрического обобщения энтропии технической системы как меры неопределенности информации

Начиная с середины двадцатого века, Клод Шеннон определил такое понятие как мера количества информации сообщения представляющее собой математическое выражение в виде суммы логарифмов выбора вариантов. Это выражение записывается следующим образом:

,                                           (1)

где  -вероятность появления события i из множества событий М [1].

В представленном математическом выражении энтропия информации Н(Х) имеет вероятностную основу, значения используемых данных при расчете меры неопределенности информации не учитываются.

Для того чтобы учесть значения на основе которых была определенна вероятность события в формуле вычисления энтропии информации было введено рандомизированное расстояние  как симметричная неотрицательная вещественнозначная функция удовлетворяющая следующим требованиям  и. Таким образом классическая  математическая формула Клода Шеннона с учетом преобразований примет следующий вид:

,                                                    (2)

и называется В-энтропией [2]. Введение рандомизированного расстояния  позволило производить вычисления меры количества информации в сообщении более точно, т.к. будет учитываться не только вероятностная составляющая сообщения, но и значения, на основе которых рассчитывается вероятность появления события. Ниже приведем пример расчета количества информации по формуле Клода Шеннона и с учетом преобразований по формуле В-энтропии.

Пусть имеем 4 внешне одинаковых DVD-диска но различной емкости 1) 4 Гб, 2) 8 Гб, 3) 16 Гб, 4) 32 Гб.  Произведем случайный выбор DVD-диска. Какое количество информации содержит данное сообщение. Произведя расчеты по формуле К.Шеннона, получим следующий результат , т.е. сообщение содержит 2 бита информации. Используя формулу В-энтропии для расчета количества информации, получим следующий результат , т.е. сообщение содержит 0,79 бита информации. При одних и тех же поставленных условиях и значениях показателей результаты вычислений отличаются. Рассмотрим еще один пример. Необходимо произвести случайный выбор из 4 внешне одинаковых DVD-диска разной емкостиобходимо произвести случайный выбор из 4 внеше одинаковых  1) 32Гб 2) 64Гб 3) 128Гб 4) 256Гб произведя расчеты по формуле К.Шеннона получим следующее значение , а по формуле В-энтропии . Как мы видим в двух приведенных экспериментах бывают ситуации когда классическая формула К.Шеннона рассчитывает значение энтропии информации одинаково для разных примеров, не учитывая значения показателей в отличие от формулы В-энтропии, а использование формулы В-энтропии оправданно, так как показывает более точный результат учитывающий рандомизированное расстояние между парами исходов.

Используя формулу В-энтропии возможно производить расчеты используя значения показателей реальных процессов и систем [3]. И на основе полученных данных осуществлять качественный анализ системы или процесса, для выявления и устранения узких мест.

Так же можно произвести выбор из многообразия вариантов опираясь на формулу В-энтропии, если показатель количества информации по классической формуле К.Шеннона будет показывать один и тот же результат.

 

Литература:

1.                     Shannon С. A Mathematical Theory of Communication. Bell System Tech. J., 1948, no. 27, pt.I., 379-423; pt.II., 623-656.

2.                     Леус В.А. О геометрическом обобщении энтропии / / Тр. конф., посвященной 90-летию со дня рождения А.А. Ляпунова. Новосибирск, 2001. http://www.ict.nsc.ru/ws.

3.                     А.С. Дулесов, В.И. Хрусталев, С.В. Швец, «Применение формулы Шеннона и геометрического обобщения для определения энтропии» Перспективы науки. Тамбов, 2010. -№3.
-C. 94-98.