Сучасні інформаційні технології/2.Обчислювальна техніка та програмування

Іваненко А.М., к.т.н. Якимчук В.С.

НТУУ «КПІ імені Ігоря Сікорського», Україна

Глибинне навчання на основі фотонних технологій

У сучасному світі, починаючи з охорони здоров'я і закінчуючи мануфактурним виробництвом, повсюдно використовується глибинне навчання. Компанії звертаються до цієї технології для вирішення складних проблем, таких як розпізнавання мови і об'єктів, машинний переклад і так далі.

Глибинне навчання - це по суті техніка навчання нейромережі, яка використовує безліч шарів для вирішення складних проблем за допомогою шаблонів.

Перший крок до штучних нейронних мереж відбувся в 1943 році, коли нейрофізіолог Уоррен Маккаллох і математик Уолтер Піттс написали статтю про те, як можуть працювати нейрони. Вони змоделювали просту нейронну мережу з електричними схемами, використовуючи комбінацію алгоритмів і математики, яку вони називали «пороговою логікою», щоб імітувати процес мислення.

Перші «згорткові нейронні мережі» використовувалися Куніхіко Фукусімою. Фукусіма розробив нейронні мережі з множинними пулами і згортковими шарами. У 1979 році він розробив штучну нейронну мережу під назвою Neocognitron, яка використовувала ієрархічний, багатошаровий дизайн. Ця конструкція дозволила комп'ютеру «навчитися» розпізнавати візуальні шаблони[2].

У період до 2010 року нейронна мережа перебувала в інкубації. Більшість людей не помітили її зростаючої влади, в той час як багато інших дослідників повільно просувалися вперед. Однак нині цей напрямок став активно розвиватись. Все більше і більше даних стали доступні через поширення камер в стільникових телефонах і дешевих цифрових камер. Обчислювальна потужність зросла, процесори стали швидше, а графічні процесори стали універсальним обчислювальним інструментом. Обидві ці тенденції призвели до того, що нейронні мережі прогресують, хоча і повільними темпами. Як дані, так і обчислювальна потужність дозволяли виконувати все більш цікаві завдання, завдяки нейронним мережам[3].

Традиційні види комп'ютерної архітектури не дуже ефективні для важливих обчислень нейронної мережі - багаторазового перемноження матриць. Команда MIT придумала ефективний спосіб виконання цих операцій на оптичної основі. При цьому налаштований чіп має практичне застосування, на відміну від інших фотонних концептів.

Дослідникам вдалося створити першу фотонну нейронну мережу, у якій нейрони представлені світловими хвилеводами.

Розробка MIT, за словами вчених, дозволяє миттєво виконувати матричне множення без великих витрат енергії. Деякі перетворення світла, наприклад, фокусування за допомогою лінзи, можна розглядати як обчислення. Новий підхід фотонних чіпів задіює безліч світлових променів, спрямованих таким чином, що їх хвилі взаємодіють один з одним. Це створює інтерференційні структури, які передають результат запланованої операції.

Для виконання розрахунків традиційний комп'ютер кодує інформацію в декількох світлових променях, які проходять через ряд вузлів. Тут оптичний елемент, званий інтерферометром Маха - Цендера, змінює властивості перетинаючих променів - це і є еквівалентом матричного множення. Далі світло проходить через ряд аттенюаторів, що злегка приглушує інтенсивність світла.

Ці процеси забезпечують навчання оптичної нейронної мережі. Однак для підтримки її в навченому стані все ж потрібна подача невеликої кількості енергії. Автори дослідження зазначають, що існує рішення, яке дозволяє чіпу підтримувати свій стан, не витрачаючи енергію. Якщо це спрацює, то єдиними споживачами енергії стануть лазер - джерело світлових променів - і комп'ютер, який кодує інформацію.

Проте розробка все ж таки не досконала. У концепції є ряд істотних обмежень. Головне з них - розмір оптичних мікросхем: для вирішення ряду комерційних завдань, їх потрібно робити або великими, або пропускати через них світло кілька разів. В останньому випадку буде потрібно розробити грамотний алгоритм для обчислень. Через це в контексті більш складних операцій може бути втрачена велика частина заявлених переваг, однак якщо дослідники зможуть подолати перешкоди, а також підвищити точність навчання, система зможе підтримувати глибинне навчання, використовуючи в 100 тисяч разів менше енергії, ніж традиційні GPU[1].

Нейронні мережі вже дозволяють впоратися з низкою непростих проблем і на меті є створення нових програм і пристроїв, здатних вирішувати завдання, які поки під силу тільки людині. Наступний етап розвитку - це поява спеціалізованих плат і чіпів, завданням яких буде обробка різного виду образної інформації. Саме це сприятиме появі нових апаратних реалізацій на широкому ринку. Від ефективності розроблених методів залежить сучасна ера штучного інтелекту[3].

Список використаних джерел:

1. http://news.mit.edu/2017/new-system-allows-optical-deep-learning-0612

2. https://cs.stanford.edu/people/eroberts/courses/soco/projects/neural-networks/History/history1.html

3. https://postnauka.ru/author/mkiselev