СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 2. Вычислительная техника и программирова­ние

к.т.н. Хрусталев В. И., Сигнаевский С.А., Себякин А.С.

Хакасский государственный университет им. Н. Ф. Катанова

Геометрическая составляющая между парами исходов применительно к классической формуле К. Шеннона

Определение количества энтропии информации в виде показателя, который можно рассчитать является достаточно сложной и актуальной задачей ученых технической области знаний середины двадцатого века. Расчет энтропии информации  является очень интересным и фундаментальным направлением теории информации, над исследованием которого работали видные ученые середины двадцатого века. К основоположникам теоретических и практических исследований в этой области знаний можно отнести известного ученого Клода Шеннона.

Начиная с середины двадцатого века, Клод Шеннон определил такое понятие как мера количества информации сообщения представляющее собой математическое выражение в виде суммы логарифмов выбора вариантов. Это выражение записывается следующим образом:

,                                           (1)

где  -вероятность появления события i из множества событий М [1].

В представленном математическом выражении энтропия информации Н(Х) имеет вероятностную основу, значения используемых данных при расчете меры неопределенности информации не учитываются.

Для того чтобы учесть значения на основе которых была определенна вероятность события в формуле вычисления энтропии информации было введено рандомизированное расстояние  как симметричная неотрицательная вещественнозначная функция удовлетворяющая следующим требованиям  и. Таким образом классическая  математическая формула Клода Шеннона с учетом преобразований примет следующий вид:

,                                                    (2)

и называется В-энтропией [2]. Введение рандомизированного расстояния  позволило производить вычисления меры количества информации в сообщении более точно, т.к. будет учитываться не только вероятностная составляющая сообщения, но и значения, на основе которых рассчитывается вероятность появления события. Ниже приведем пример расчета количества информации по формуле Клода Шеннона и с учетом преобразований по формуле В-энтропии.

Пусть имеем 4 внешне одинаковых DVD-диска но различной емкости 1) 4 Гб, 2) 8 Гб, 3) 16 Гб, 4) 32 Гб.  Произведем случайный выбор DVD-диска. Какое количество информации содержит данное сообщение. Произведя расчеты по формуле К.Шеннона, получим следующий результат , т.е. сообщение содержит 2 бита информации. Используя формулу В-энтропии для расчета количества информации, получим следующий результат , т.е. сообщение содержит 0,79 бита информации. При одних и тех же поставленных условиях и значениях показателей результаты вычислений отличаются. Рассмотрим еще один пример. Необходимо произвести случайный выбор из 4 внешне одинаковых DVD-диска разной емкостиобходимо произвести случайный выбор из 4 внеше одинаковых  1) 32Гб 2) 64Гб 3) 128Гб 4) 256Гб произведя расчеты по формуле К.Шеннона получим следующее значение , а по формуле В-энтропии . Как мы видим в двух приведенных экспериментах бывают ситуации когда классическая формула К.Шеннона рассчитывает значение энтропии информации одинаково для разных примеров, не учитывая значения показателей в отличие от формулы В-энтропии, а использование формулы В-энтропии оправданно, так как показывает более точный результат учитывающий рандомизированное расстояние между парами исходов.

Используя формулу В-энтропии возможно производить расчеты значения показателей реальных процессов и систем [3]. И на основе полученных данных осуществлять качественный анализ системы или процесса, для выявления и устранения «узких мест».

Так же можно произвести выбор из многообразия вариантов опираясь на формулу В-энтропии, если показатель количества информации по классической формуле К.Шеннона будет показывать один и тот же результат.

Подходя к определению надежности технической системы с точки зрения учета количественных показателей. Очень не просто учесть все воздействия оказываемые на техническую систему как внешние факторы, так внутренние факторы. Мера неопределенности позволяет учесть влияние факторов различной природы и тем самым определить «узкие места» технической системы в целом.

 

Литература:

1.                     Shannon С. A Mathematical Theory of Communication. Bell System Tech. J., 1948, no. 27, pt.I., 379-423; pt.II., 623-656.

2.                     Леус В.А. О геометрическом обобщении энтропии / / Тр. конф., посвященной 90-летию со дня рождения А.А. Ляпунова. Новосибирск, 2001. http://www.ict.nsc.ru/ws.

3.                     А.С. Дулесов, В.И. Хрусталев, С.В. Швец, «Применение формулы Шеннона и геометрического обобщения для определения энтропии» Перспективы науки. Тамбов, 2010. -№3.
-C. 94-98.