Математика / 5.
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
к.т.н. Крючин О.В., Крючина Е.И.
Тамбовский государственный университет им. Г.Р.
Державина, Россия
Исследование возможности наличия оптимального количества
процессоров при обучении искусственной нейронной сети
В
настоящее время искусственные нейронные сети (ИНС) нашли широкое применение в
различных областях науки — в психологии [1],
социальных науках, т.е в тех случаях, когда необходимо разработать
математическую модель объекта, а ее структура не может быть определена
существующими в данных областях законами и закономерностями. Другими областями
использования ИНС являются задачи распознавания образов, а также анализ и
прогнозирование временных рядов [2, 3]. Основным недостатком данной технологии
являются значительные временные затраты на построение ИНС-модели, например, при
моделировании зависимости профессиональной предрасположенности школьников
старших классов от их личностных качеств обучение ИНС заняло более 2 недель при
использовании северной платформы Intel с двухъядерным процессором Intel
Xeon частой 3.6 ГГц и оперативной памятью 1ГБ [4].
Решением этой проблемы является распараллеливание построения ИНС-модели и
использование кластерных систем.
Применение кластерных систем
значительно снижает временные затраты [5-6],
однако, использование большого количества вычислительных узлов, как правило,
связано с значительными экономическими затратами (стоимость аренды), которые
могут оказаться выше прибыли, полученной за счет уменьшения временных затрат.
Эффективность параллельных
алгоритмов обучения можно оценить двумя способами — по затраченному времени и
по количеству операций. В первом случае коэффициент эффективности может быть
вычислен как отношение времени, затраченного последовательным алгоритмом
вычисления к произведению времени, затраченному параллельным на количество
используемых процессоров
(1)
Во втором случае коэффициент
эффективности можно вычислить как отношение количества операций, производимых
последовательным алгоритмом обучения на произведение максимального количества
операций производимых используемыми процессорами на количество используемых
процессоров
(2)
В формулах (1)-(2) 
— время, затраченное
последовательным алгоритмом, 
— время, затраченное
параллельным алгоритмом, использующим 
процессоров, 
— количество
операций, совершенных последовательным алгоритмом, 
— максимальное количество
операций, совершенных используемыми процессорами [7].
Рис. 1. График
зависимости временных затрат от количества процессоров.
Рис. 2. График
зависимости коэффициента эффективности от количества процессоров.
С увеличением количества процессоров
эффективность параллельных алгоритмов постепенно снижается, в результате чего
временные затраты начинают уменьшаться менее быстро, более того постепенно они
начинают возрастать. Это происходит из-за того, что при большом количестве
используемых процессоров время, затрачиваемое на передачу данных и
синхронизацию процессоров оказывается больше, чем временные затраты на вычислительные
операции, производимые процессорами.
На рисунках 1 и 2 приведены графики
зависимости временных затрат и коэффициента эффективности от количества
используемых процессоров. Таким образом, можно видеть, эффективность
параллельных алгоритмов постоянно снижается с увеличением количества
процессоров. Синергетический эффект (получение эффективности выше 100%)
возможен только в отдельных случаях при конкретных задачах, но не в общем виде.
Литература
1.
Крючин
О.В. Использование искусственных нейронных сетей в психологии. // Наука и
образование в развитии промышленной, социальной и экономической сфер регионов
России [Электронный ресурс]: II Всероссийские научные Зворыкинские чтения. Сб.
тез. докладов II Всероссийской межвузовской научной конференции (Муром, 5
февраля 2010 гОсовский С. Нейронные сети для обработки
информации. М.: Финансы и статистика, 2002, 344 с.
2. Крючин О.В. Определение профессиональной
предрасположенности школьников // Информационные и коммуникационные технологии в образовании.
Сборник материалов X Международной научно-практической конференции / Сборник
материалов в 2-х томах. Т.1. — Борисоглебск: ГОУ ВПО «БГПИ», 2009. C. 55-57
3.
Крючин О.В. Подбор архитектуры искусственных нейронных сетей с использованием
кластерных систем // Электронный журнал "Исследовано в России", 115,
стр. 1510-1523, 2009 г. // Режим доступа: http://zhurnal.ape.relarn.ru/articles/2009/115.pdf , свободный. - Загл.
с экрана.
4. Крючин О.В.
Использование кластерных систем для обучения искусственных нейронных сетей при
применении параллельного вычисления значения невязки. // Наука и образование в
развитии промышленной, социальной и экономической сфер регионов России
[Электронный ресурс]: II Всероссийские научные Зворыкинские чтения. Сб. тез.
докладов II Всероссийской межвузовской научной конференции (Муром, 5 февраля
2010 г.). — Муром: Изд.- полиграфический центр МИ ВлГУ, 2010. – 802 с., ил. – 1
электрон. опт. диск (CD-ROM).
5. Oleg V. Kryuchin, Alexander A. Arzamastev, Prof. Dr. Klaus G. Troitzsch
(2011): Comparing the efficiency of serial and parallel algorithms for training
artificial neural networks using computer clusters, Arbeitsberichte aus dem
Fachbereich Informatik, 13/2011, Universität Koblenz-Landau, ISSN (Online)
1864-0850. http://http://www.uni-koblenz.de/~fb4reports/2011/2011_13_Arbeitsberichte.pdf.