СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ / 2. Вычислительная техника и программирование

к.т.н. Крючин О.В., Крючина Е.И.

Тамбовский государственный университет им. Г.Р. Державина, Россия

Поиск оптимального количества процессоров при обучении искусственной нейронной сети

Как показано в работах [1-3], использование параллельных вычислений и кластерных систем для построения моделей искусственных нейронных сетей (ИНС) значительно снижает временные затраты. Однако, использование кластерных систем связано с затратами, размер которых прямопропорционален времени использования кластерных систем и количеству процессоров, в результате чего стоимость использования кластерных систем может быть выражена

(1)

а если считать, что стоимость использования вычислительных узлов складывается только из времени использования и их количества, то формулу (1) можно заменить на

(2)

где — стоимость использования 1 вычислительного узла в течении 1 часа, — функция вычисления стоимости использования кластерной системы, — время, затраченное параллельным алгоритмом, использующим процессоров, а — время, необходимое на подготовку. Поскольку временные затраты зависят от количества процессоров, то является функцией одной переменной. График зависимости стоимости использования вычислительного кластера от количества процессоров изображен на рисунке 1. Как можно видеть, с увеличением количества процессоров стоимость возрастает. Причина заключается в том, что с увеличением количества процессоров эффективность уменьшается.

Рис. 1. График зависимости стоимости использования вычислительного кластера от количества процессоров.

С другой стороны, стоимость ожидания результатов вычисления также зависит от количества используемых процессоров:

(3)

где — стоимость ожидания 1 часа времени.

Таким образом, затраты на ожидание результатов выполнения прямо пропорциональны временным затратам и, соответственно, снижаются с увеличением количества процессоров (до , после чего временные затраты вновь начинают возрастать). На рисунке 2 изображен график зависимости стоимости ожидания результатов выполнения от количества процессоров. Как можно видеть, с увеличением количества процессоров стоимость ожидания снижается.

Рис. 2. График зависимости стоимости ожидания результатов выполнения от количества используемых процессоров.

Таким образом, суммарная стоимость решения задачи при использовании процессоров может быть вычислена по формуле

(4)

При предположении, что стоимость использования процессоров складывается только из их количества и времени использования, а стоимость ожидания результатов прямо пропорциональна времени ожидания, примерную суммарную стоимость можно вычислить по формуле

(5)

На рисунке 3 изображен график зависимости стоимости решения задачи от количества используемых процессоров. Как можно видеть, при увеличении количества процессоров стоимость снижается, а затем вновь начинает увеличиваться.

Рис. 3. График зависимости общей стоимости решения задачи от количества используемых процессоров.

Таким образом, для любой задачи существует оптимальное количество процессоров, которые должны быть использованы для минимизации затрат на ее решение.

Список литературы

1. Крючин О.В., Арзамасцев А.А. Параллельный алгоритм полного сканирования минимизации функций // VII Всероссийская научная конференция молодых ученых, аспирантов и студентов. Информационные технологии, системный анализ и управление. Таганрогский технологический институт ЮФУ, Таганрог. 2009. С. 270-272.

2. Крючин О.В. Использование кластерных систем для обучения искусственных нейронных сетей при применении параллельного вычисления значения невязки. // Наука и образование в развитии промышленной, социальной и экономической сфер регионов России [Электронный ресурс]: II Всероссийские научные Зворыкинские чтения. Сб. тез. докладов II Всероссийской межвузовской научной конференции (Муром, 5 февраля 2010 г.). — Муром: Изд.- полиграфический центр МИ ВлГУ, 2010. – 802 с., ил. – 1 электрон. опт. диск (CD-ROM).

3. Крючин О.В. Разработка параллельных градиентных алгоритмов обучения искусственной нейронной сети // Электронный журнал "Исследовано в России", 096, стр. 1208-1221, 2009 г. // Режим доступа: http://zhurnal.ape.relarn.ru/articles/2009/096.pdf , свободный. – Загл. с экрана.