Современные информационные технологии /1. Компьютерная инженерия

Аждер Т.Б., Ливинская Л.Б.

Московский технологический университет, Россия

Определение взаимной информации сигналов нейрона

Говоря об обработке сигналов, можно сказать, что не существует более плодородной области применения нейронных сетей (НС).

Пусть имеем линейный нейрон, получающий входной сигнал X от множества, состоящего из узлов-источников. Выход Y этого нейрона с учетом шума выражается соотношением

, (1)

где ω_i – i-й синаптический вес; N – шум обработки сигнала.

Входные сигналы X₁ , X₂ , …, X_m имеют распределение Гаусса. При этом предполагается, что аддитивный шум N также является гауссовским. Тогда гауссовское распределение выходного сигнала вытекает из того факта, что он является суммой гауссовских случайных величин.

Из теории информации известно, что взаимная информация I(X;Y) между непрерывными случайными величинами X и Y обладает следующим свойством:

, (2)

где h(X) – дифференциальная энтропия X,

h(X/Y) – условная дифференциальная энтропия X для данного Y, которая определяется следующим выражением:

,

где h(X,Y) – совместная дифференциальная энтропия X и Y.

Дифференциальная энтропия имеет вид: ,

где f_x(x) – формула распределения вероятности случайной величины X при соблюдении следующих условий:

; ; , ,

где g_i(x) – некоторая функция от x.

Последнее условие определяет моменты X, которые зависят от способа определения функции g_i(x).

Для того, чтобы определить распределение с максимальной энтропией, необходимо решить задачу условной оптимизации. Для решения этой задачи используем метод множителей Лагранжа. Сначала составим целевую функцию:

,

где λ₁, λ₂, … λ_m – множители Лагранжа.

Продифференцируем интеграл по f_x(x) и приравняем результаты к нулю:

.

Решение этого уравнения относительно неизвестной функции f_x(x) имеет вид:

. (3)

Равенство (3) определяется распределением с максимальной энтропией. Используя (2), запишем взаимную информацию I(X;Y) между выходом нейрона Y и входным вектором X следующим образом:

.

Из формулы (1) функция плотности вероятности переменной Y для входного вектора X равна функции плотности вероятности суммы константы и гауссовской случайной величины.

Следовательно, условная энтропия h(Y/X) является информацией, которую выходной нейрон Y накапливает о шуме обработки сигнала N, а не о самом векторе полученного сигнала X. Исходя из этого, примем

Тогда (2) примет вид: (4)

Для определения дифференциальной энтропии случайной величины h(Y). предположим, что известны среднее значение μ и дисперсия σ² случайной величины X. После определенных преобразований искомая формула f_x(x) примет вид:

.

Это плотность вероятности гауссовской случайной величины X со средним значением μ и дисперсией σ². Максимальное значение дифференциальной энтропии такой случайной величины имеет вид:

. (5)

Применяя выражение (5) к дифференциальной энтропии гауссовской случайной величины, получим:

и .

После подстановки этих выражений в формулу (4), получим:

, где зависит от .

Частное можно рассмотреть как отношение сигнал/шум. Предполагая, что дисперсия фиксирована, можно заметить, что взаимная информация I(Y;X) достигает максимума при максимизации дисперсии выхода нейрона Y. Таким образом, можно утверждать, что при определенных условиях максимизации дисперсии выходного сигнала возможно максимизировать взаимную информацию между входным и выходным сигналами нейрона.

Литература:

1. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996.

2. Николенко С. И., Тулупьев А. Л. Самообучающиеся системы. — Москва, МЦНМО, 2009.

3. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. — М.: Горячая линия-Телеком, 2003.