Представлений концепт міської вежі для зарядки електрокарів Charging Tower
16 Квітня , 2017
3D-друк знизить вартість виготовлення Boeing 787 Dreamliner на $2-3 млн
16 Квітня , 2017

Як обдурити алгоритм штучного інтелекту і чим це загрожує

За вікном 2022 рік. Ви їдете на самокерованій машині, як зазвичай, по місті. Автомобіль під’їжджає до знаку «стоп», повз який проїжджав багато разів, але в цей раз не зупиняється перед ним. Для вас цей знак «стоп» схожий на інші. Але для автомобіля він зовсім інший. Декількома хвилинами раніше, нікого не попередивши, зловмисник наклеїв на знак маленьку табличку, непомітну для людського ока, але яку не може не помітити технологія. Ця маленька наклейка на знакові перетворила знак «стоп» в щось зовсім відмінне від знаку «стоп».

Все це може здатись неймовірним. Але зростаюча галузь досліджень доводить, що штучний інтелект може бути обдуреним, приблизно так, якщо побачить якусь маленьку деталь, зовсім непомітну для людей. По мірі того як алгоритми машинного навчання все частіше з’являються на наших дорогах, в наших фінансах, нашій системі охорони здоров’я, комп’ютерні вчені сподіваються дізнатись більше про те, як захистити їх від подібних атак — перш ніж хтось спробує обдурити їх по-справжньому.

«Це викликає зростаюче занепокоєння в галузі машинного навчання та спільноти ШІ, особливо тому, що ці алгоритми використовуються все більше і більше», говорить Деніел Лоуд, доцент кафедри комп’ютерних та інформаційних наук в Університеті Орегону. «Якщо спам проходить або блокується кілька листів, це ще не кінець світу. Але якщо ви покладаєтесь на систему стеження в самокерованій машині, яка говорить автомобілю, як їхати, не врізаючись в перешкоди, ставки будуть набагато вищими».

Незалежно від того, чи зламається машина чи буде зламана, постраждають алгоритми машинного навчання, які «бачать» світ. І ось, для машини панда починає виглядати як гібон, а шкільний автобус — як страус.

В одному експерименті учені з Франції і Швейцарії показали, як такі збурення можуть змусити комп’ютер помилково прийняти білку за сіру лисицю, а кавник за папугу.

Як це можливо? Подумайте про те, як дитина вчиться розпізнавати цифри. Розглядаючи символи один за іншим, дитина починає помічати деякі загальні характеристики: одиниці вище і стрункіше, шістки і дев’ятки містять одну велику петлю, а вісімки — дві, і так далі. Після того, як вони побачать достатньо прикладів, вони можуть швидко розпізнавати нові цифри у вигляді четвірок, вісімок або трійок — навіть якщо завдяки шрифту або почерку, вони не будуть виглядати точно так само, як інші четвірки, вісімки чи трійки, які вони коли-небудь раніше бачили.

Алгоритми машинного навчання вчаться читати світ через схожий процес. Вчені згодовують комп’ютеру сотні або тисячі прикладів того, що вони хотіли б виявити на комп’ютері. Коли машина просіює дані, вона починає помічати особливості, які призводять до відповіді. Незабаром, вона може подивитись на картинку і сказати: «Це п’ять!» з високою точністю.

Таким чином, як людські діти, так і комп’ютери можуть навчитися розпізнавати величезну кількість об’єктів — від цифр до кішок, від човнів до окремих людських осіб.

Але, на відміну від дитини, комп’ютер не звертає уваги на деталі високого рівня — типу пухнастих вух кішок або відмінної кутастої форми четвірки. Він не бачить цілісну картинку.

Замість цього він дивиться на окремі пікселі зображення — і на найшвидший спосіб розділити об’єкти. Якщо переважна кількість одиниць буде мати чорний піксель в певній точці і кілька білих пікселів в інших точках, машина дуже швидко навчиться визначати їх за кількома пікселями.

Тепер повернемося до знаку «стоп». Непомітно поправивши пікселі зображення — експерти називають таке втручання «пертурбаціями» — можна обдурити комп’ютер і змусити думати, що знаку «стоп», по суті, і немає.

Аналогічні дослідження, проведені в Лабораторії еволюційного штучного інтелекту в Університеті Вайомінгу і Корнеллського університету, створили досить багато оптичних ілюзій для штучного інтелекту. Ці психоделічні образи абстрактних візерунків і кольорів ні на що не схожі для людей, але швидко розпізнаються комп’ютером у вигляді змій або гвинтівок. Це говорить про те, як ШІ може дивитись на щось і не бачити об’єкт, або бачити замість нього щось інше.

Ця слабкість поширена у всіх типах алгоритмів машинного навчання. «Можна було б очікувати, що кожен алгоритм має дірку в броні», каже Євген Воробейчік, доцент кафедри інформатики і обчислювальної техніки в Університеті Вандербільта. «Ми живемо в дуже складному, багатовимірному світі, і алгоритми за своєю природою не стосуються лише невеликої його частини».

Воробейчік «вкрай впевнений, що, якщо ці уразливості існують, хтось з’ясує, як ними скористатися. Ймовірно, хтось вже це зробив.

Розглянемо спам-фільтри, автоматизовані програми, які відсіюють будь-які незграбні електронні листи. Спамери можуть спробувати обійти цей заслін, змінивши написання слів (замість віагри — ві@гра) або додавши список «добрих слів», які зазвичай зустрічаються в нормальних листах: кшталт «ага», «мене», «радий». Між тим спамери можуть спробувати прибрати слова, які часто з’являються в спамі, наприклад, «мобільний» або «виграш».

До чого можуть дійти шахраї в один прекрасний день? Автономний автомобіль, ошуканий наклейкою на знак «стоп», є класичним сценарієм, який був придуманий експертами в цій галузі. Додаткові дані можуть допомогти порнографії проскочити через безпечні фільтри. Інші можуть спробувати збільшити кількість чеків. Хакери можуть підправити код шкідливого програмного забезпечення, щоб вислизнути від органів правопорядку.

Порушники можуть зрозуміти, як створювати прохідні дані, якщо отримають копію алгоритму машинного навчання, яке хочуть обдурити. Але щоб пробратись крізь алгоритм, це і не обов’язково. Можна просто зламати його грубою силою, накидаючи на нього трохи різні версії електронної пошти або зображень, поки вони не пройдуть. З часом це можна буде навіть використовувати для абсолютно нової моделі, яка буде знати, що шукають хороші хлопці, і які створювати дані, щоб їх ошукати.

«Люди маніпулюють системами машинного навчання з тих пір, як вони були представлені вперше», говорить Патрік Макденіел, професор комп’ютерних наук та інженерії в Пенсильванському університеті. «Якщо люди використовують ці методи, ми можемо навіть не знати».

Цими ж методами можуть скористатися не тільки шахраї — люди можуть ховатись від рентгенівських очей сучасних технологій.

«Якщо ви який-небудь політичний дисидент при репресивному режимі і хочете проводити заходи без відома спецслужб, вам може знадобитись можливість уникнення автоматичних методів спостереження на основі машинного навчання», говорить Лоуд.

В одному з проектів, опублікованих у жовтні, дослідники з Університету Карнегі — Меллона створили пару окулярів, які можуть тонко ввести в оману систему розпізнавання осіб, змусивши комп’ютер помилково приймати актрису Різ Візерспун за Рассела Кроу. Це звучить смішно, але така технологія може стати в нагоді кому-небудь, хто відчайдушно намагається уникнути цензури з боку можновладців.

Що ж з усім цим робити? «Єдиний спосіб уникнути цього — створити ідеальну модель, яка буде завжди правильною», говорить Лоуд. Навіть якщо ми змогли б створити штучний інтелект, який перевершив би людей у всіх відносинах, світ все ще може підсунути свиню в несподіваному місці.

Алгоритми машинного навчання зазвичай оцінюють по їх точності. Програма, яка розпізнає стільці в 99% випадків буде явно краще, ніж та, яка розпізнає 6 стільців з 10. Але деякі експерти пропонують інший спосіб оцінки можливостей алгоритму впоратися з атакою: чим жорсткіше, тим краще.

Інше рішення може полягати в тому, щоб експерти могли задавати програмами певний темп. Створіть свої власні приклади атак в лабораторії, виходячи з можливостей злочинців на ваш погляд, а потім покажіть їх алгоритму машинного навчання. Це може допомогти йому стати більш стійким з часом — за умови, звичайно, що тестові атаки будуть відповідати типу, який буде перевірений в реальному світі.

«Системи машинного навчання — інструмент для осмислення. Ми маєм бути розумними і раціональними щодо того, що ми їм даємо і що вони нам говорять», вважає Макденіел. «Ми не повинні ставитись до них як до досконалих оракулів істини».

Залишити відповідь

Увійти за допомогою: 
Inline
Inline