Відео польоту і приземлення ракети Falcon 9 на воду
6 Грудня , 2018
Китайські вчені створили багаторазовий перезаписуваний папір
7 Грудня , 2018

Нова технологія IBM дозволила суттєво прискорити навчання ШІ

Обчислювальна ефективність штучного інтелекту — це, свого роду, палиця з двома кінцями. З одного боку він повинен навчатися досить швидко, але чим більше «прискорюється» нейромережа — тим більше вона споживає енергії. А значить може стати просто невигідною. Однак вихід із ситуації може дати IBM, яка продемонструвала нові методи навчання ШІ, що дозволять йому навчатися в кілька разів швидше при тому ж рівні витрат ресурсів і енергії.

Для досягнення таких результатів IBM довелося відмовитися від методів обчислення з використанням 32-і 16-бітних технік, розробивши 8-бітну техніку, а також новий чіп для роботи з нею.

«Прийдешньому поколінню додатків для роботи ШІ потрібен швидший час відгуку, великі робочі навантаження і можливість працювати з декількома потоками даних. Щоб розкрити весь потенціал ШІ, ми перепроектуємо все апаратне забезпечення повністю. Масштабування ШІ за допомогою нових апаратних рішень є частиною програми IBM Research для переходу від вузькопрофільного ШІ, що часто використовується для вирішення конкретних, чітко визначених завдань, до багатопрофільного ШІ, який охоплює всі сфери.» — заявив віце-президент і директор лабораторії IBM Research Джефф Вельзер.

Всі розробки IBM були представлені в рамках NeurIPS 2018 в Монреалі. Інженери компанії розповіли про дві розробки. Перша носить назву «глибоке машинне навчання нейронних мереж за допомогою 8-розрядних чисел з плаваючою комою.» У ньому вони описують, як їм вдалося так знизити арифметичну точність для додатків з 32 до 16 біт біт і зберегти її на 8-бітній моделі. Експерти стверджують, що їхня техніка прискорює час навчання глибоких нейронних мереж в 2-4 рази в порівнянні з 16-бітними системами. Друга розробка «8-бітне множення в пам’яті з проеційованною пам’яттю фазового переходу». Тут експерти розкривають метод, який компенсує низьку точність аналогових мікросхем ШІ, дозволяючи їм споживати в 33 рази менше енергії, ніж аналогічні цифрові ШІ-системи.

«Покращена точність, досягнута нашою дослідницькою групою, вказує на те, що обчислення в пам’яті можуть забезпечити високопродуктивне глибоке навчання в середовищах з низьким енергоспоживанням. Як і з нашими цифровими прискорювачами, наші аналогові чіпи призначені для масштабування і навчання ШІ і виводу через візуальні, розмовні та текстові набори даних і поширюються на багатопрофільний ШІ.»

Джерeло

LEU
LEU

Залишити відповідь

Увійти за допомогою: