Потиенко М.В.

Киевский национальный университет имени Тараса Шевченко, Украина

Моделирование иерархии нейронных сетей, построенных по принципам кортикальных колонок

Развитие информационных технологий позволяет решать задачи моделирования все более сложных процессов, что происходят в мире. К таким процессам относятся и процессы, что происходят в мозгу человека, в частности процесс запоминания информации.

Как известно из физиологии главным элементом мозга, который отвечает за процессы памяти является кора головного мозга [1]. Она представляет собой большую биологическую нейронную сеть, которую можно разбить на более мелкие – кортикальные колонки [2]. Кортикальные колонки формируют кору головного мозга объединяясь в иерархические структуры [3].

Для моделирования нейронных сетей, с использование принципов работы коры головного мозга, сначала надо построить модель кортикальной колонки, далее просто колонку [4]. Напомним, что каждая колонка – эт искусственная нейронная сеть, которую можно задать при помощи последовательности (V, Vin, Vout, E, Eth, S, f, h, w, wth, kth, d, dth, u, tR, vth, a, d), где

V, Vin, Vout – множества всех, входящих и исходящих узлов сети;

E, Eth – множества обычных и пороговых дуг;

S – множество возможных состояний узлов;

f, h – функции переходов и выходов;

w, wth, kth – отображения, которые определяют начальный вес обычных дуг, пороговый вес и величину передачи пороговых дуг;

d, dth – отображения, которые определяют задержку передачи сигнала обычных и пороговых дуг;

u, vth – отображения, которые определяют начальное значение узла, а так же его порог;

tR, a, d константы сети, определяющие период рефактерности нейронов, скорость затухания входящего сигнала и уровень шума.

Иерархию колонок структурно можно представить в виде дерева, где каждый узел – это колонка, а связи – это связи между соответствующими нейронами колонок [5]. Таким образом каждая иерархия колонок так же искусственной нейронной сетью, которую можно задать при помощи такой же последовательности. Так же понятно, что любая колонка это тоже иерархия.

Кроме того, напомним, что колонка задается 3-мя параметрами [4]. Пусть есть колонка C(k, n, m). Определим операцию проекции следующим образом: она будет возвращать соответствующий номеру проекции параметр колонки.

 

Рис. 1. Результат объединения иерархий H1 и H2.

 

Для описания процесса построения иерархий введем следующие операции над множеством иерархий: объединение и k-связывание. Но будем рассматривать только такие множества иерархий, в которых для всех иерархий значения параметров S, tR, a, d будут одинаковыми.

Определим операцию объединения двух иерархий H1 и H2 (Рис.1). Результатом такой операции будет иерархия H3, представляющая собой лес, созданный из иерархий H1 и H2. Множества узлов и дуг иерархии H3 будут объединениями множеств узлов и дуг иерархий H1 и H2. Параметры каждого узла или дуги в новой иерархии будут такими же как и параметры соответствующего узла или дуги в иерархии H1 или H2.

Так же множества всех входящих и исходящих узлов иерархии H3 будут объединениями соответствующих множеств узлов иерархий H1 и H2. Далее это будем обозначать как H3 = H1 È H2.

Исходя из определения мы можем говорить, что операция объединения двух иерархий будет ассоциативной и коммутативной. Так же операцию объединения можно расширить на любое количество иерархий, обозначив ее следующим образом .

Теперь определим операцию k-связывания. Эта операция будет применяться к некой иерархии H1 и натуральному числу k. Результатом такой операции будет новая иерархия H2, которая представляет собой дерево следующего вида: корень дерева – новая колонка, которая соединена с колонками-корнями деревьев иерархии H1.

Пускай R – это колонка-корень иерархии H1, а R1, R2, …, Rm (m  1) – колнки-корни деревьев иерархии H1. Натуральное число k задает количество нейронов в первом слое колонки R, то есть ее первый параметр. Количество входных нейронов (второй параметр) колонки R будет равно количеству всех выходов колонок-корней деревьев иерархии H1. Третий параметр колонки R будет равен количеству колонок-корней деревьев иерархии H1. Тогда параметры колонки R будут определены следующим образом.

Pr1(R) = k;; Pr3(R) = m.

Рис. 2. Резульат операция k-связывания

 

Для связи между колонкой R и колонками R1, R2, …, Rm можна выделить два типа дуг: дуги, что передают сигнал новой колонке-корню, то есть вверх, и дуги, что передают сигнал от новой колонки-корня, то есть вниз.

Дуги, передающие сигнал вверх будут однозначно связывать нейроны первого уроня колонок R1, R2, …, Rm и нейроны нулевого уровня колонки R. Таким образом каждый нейрон нулевого уровня новой колонки будет получать сигнал только от одного нейрона других колонок.

Дуги, передающие сигнал вниз, будут иметь различное время задержки передачи сигнала. Оно будет равно разнице между высотой узла дерева, который соостветсвует колонке R и высотой узла дерева, которое соответсвтует нижней колонке. Кроме того, среди дуг, передающих сигнал вниз будут как обычные дуги, так и пороговые. Эти дуги будут связывать нейроны шестого и седьмого уровня колонки R с нейронами первого уровня колонок R1, R2, …, Rm.

Таким образом операция k-связывания позволяет нам увеличивать высоту иерархий колонок. Далее такую операцию будем обозначать как .

Несоложно увидеть, что множество всех иерархий будет замкнуто относительно операций объединения и k-связывания. Так же любую иерархию можно получить при помощи операций последовательного применения объединения и k-связывания к разным колонкам.

Ввдение таких операций позволяют упростить задание таких сложных структур как иерархии колонок, давая возможность записывать структуры иерархий колонок при помощи формул. В будущем это облегчит исследование полученых искусственных нейронных сетей.

Литература:

1.          Эдельман Дж. Разумный мозг / Джеральд Эдельман, Вернон Маунткастл. – М. : Мир, 1981. – 135 с.

2.          Хьюбел Д. Глаз, мозг, зрение / Дэвид Хьюбел. – М. : Мир, 1990. – 240 с.

3.          Хоккинс Дж. Об интеллекте / Джефф Хоккинс, Сандра Блейксли. – М. : Вильямс, 2004. – 240 с.

4.          Потієнко М.В. Структурна модель процесів пам’яті людини / М.В. Потієенко // Вісник Київського університету. Серія: фіз.-мат. науки. – 2010. – Вип 4. – С. 169-172

5.          Потієнко М.В. Ієрархічна структура нейронної мережі пам’яті людини / М.В. Потієнко // Матеріали 12-ї Міжнародної науково-технічної конференції Системний аналіз та інформаційні технології. – 2010. – С. 302