или войти через:
Ваша корзина пока пуста
favorite_border
Доступно только зарегистрированным пользователям

Исследование: как ИИ MIT обманывает сервисы Google (+видео)

schedule 03.01.2018 в 03:13 link MIT CSAIL Google США
Если искусственный интеллект принимает движущихся на склоне лыжников за собаку, это кажется безобидным. Но нужно думать об этой проблеме в реальных применениях. Есть опасность, что однажды самоуправляемый автомобиль не заметит ребенка на дороге, приняв за пакет, или робот увидит в пистолете детскую игрушку. Независимая исследовательская группа AI, основанная студентами MIT, продемонстрировала новый способ обмана алгоритмов компьютерного зрения, который позволяет им учиться на ошибках и видеть мир в правильном ракурсе, - сообщает Robotics.ua.

Суть проблемы

Эта идея прекрасно описывает нейронные сети, лежащие в основе алгоритмов глубокого обучения и компьютерного зрения Google, Facebook и других компаний. Фактически команда MIT показала, как ее алгоритм может легко обмануть сервис Google, чтобы неправильно классифицировать различные объекты.

В новой работе группа LabSix рассказывают о том, как они использовали API Google Cloud Vision – общедоступный сервис для разработчиков, которые делают программы с возможностью выполнять распознавание изображений, лиц, символов и тегирование явного контента. Но группа отмечает, что любая компьютерная система видеонаблюдения, которая опирается на глубокое обучение, может быть уязвима для хакерского взлома.

«Одно дело – показать, что алгоритм работает в контролируемых научных установках, а другой – что он работает против реальных систем», - говорит Аниш Атали, кандидат наук по информатике в Массачусетском технологическом институте. - «Основываясь на наших экспериментах, мы были достаточно уверены, что нам удастся взломать Google Cloud Vision».



Характер алгоритмов глубокого обучения, то есть самые популярные версии систем машинного обучения AI, делает его особенно трудным для потенциальных хакеров. Алгоритмы обычно анализируют различные шаблоны пикселей, найденные в цифровых изображениях, для классификации общих изображений по категориям объектов, таким как «собака» или «кошка». Хакеры, которые хотят обмануть такие системы компьютерного зрения, часто тестируют изображения и настраивают их каждый раз, чтобы выяснить, как обмануть алгоритмы глубокого обучения.

Самый грубый подход ко взлому может включать изменение отдельных пикселей в изображениях и наблюдение, как это изменяет способ классификации этих изображений.

Подход к ИИ из MIT

Это чрезвычайно «неэффективно и непрактично» при работе с крупными изображениями в десятки тысяч пикселей, - говорит Андрей Ильяс, студент-исследователь в области компьютерных наук Массачусетского технологического института. Поэтому вместо этого группа LabSix адаптировала метод «естественных эволюционных стратегий», который впервые был предложен исследователями из Швейцарии и Германии.

«Вы можете применить наш подход к эволюционным стратегиям, создавая меньшие объемы изображений вокруг данных, где большие случайные группы пикселей легко обработать», - говорит Ильяс. - «Точная математика покажет, что мы можем, учитывая выдачу классификатора на эти случайно выбранные изображения».

Как только ученые выяснили, что делает каждый алгоритм глубокого обучения точным, они смогли создать изображения, которые обманывают системы компьютерного зрения. Они создавали такие образы, сна

чала манипулируя отдельными пикселями, чтобы исказить классификацию по отношению к определенной категории. Затем они скорректировали значения цвета общего изображения, чтобы они выглядели скорее как совершенно отдельная категория. «Метод группы LabSix – это первый алгоритм атаки на частичную информацию», - говорит Джесси Линь, студент-исследователь в области компьютерных наук Массачусетского технологического института. – «Google Cloud Vision является одним из примеров «частичной информации», поскольку каждый запрос изображения предоставляет результаты, включающие только 10 классов изображений с неинтерпретируемыми баллами.

«Наша частичная информационная атака может генерировать состязательный образ, не зная вероятности для всех классов. Наш метод делает реальные атаки возможными там, где они раньше были бы трудноразрешимыми или дорогостоящими».

Читайте также: Исследование IOActive: хакерский взлом может превратить роботов в убийц (+видео). 

Согласно robotics.ua, исследователи LabSix представят свою работу на предстоящей конференции по компьютерному видению и распознаванию образов (CVPR), которая пройдет в Юте с 18 по 22 июня 2018 года. Они не планируют патентовать свои результаты, но хотят продолжать демонстрировать возможные достижения ИИ в области безопасности.

«Пока не было инцидентов с ошибками ИИ, но наш подход демонстрирует, что это очень актуально», - говорит Логан Энгстром, студент-исследователь в области компьютерных наук Массачусетского технологического института. - «Крупномасштабные коммерческие технологии машинного обучения используются в реальных системах, и они должны быть очень надежными».

Комментарии: