или войти через:
Ваша корзина пока пуста
favorite_border
Доступно только зарегистрированным пользователям

Исследователи ИИ предлагают компьютерам пройти визуальный тест Тьюринга

schedule 11.03.2015 в 12:58 link исследование

Исследователи предложили визуальный тест Тьюринга, в котором компьютеры будут отвечать на сложные вопросы о каких-либо ситуациях, - сообщает Robotics.ua.

Компьютеры становятся все лучше каждый год в задачах для ИИ, особенно тех, которые связаны с идентификацией лица или определенного объекта. На самом деле, их прогресс был настолько значительным, что некоторые исследователи теперь считают, что стандартизированные тесты, используемые для оценки этих программ, стали слишком легкими, и, следовательно, должны быть более требовательными.

Наборы данных, обычно используемые исследователями для сравнения их работы, были изменены в таких лабораториях как LabelMe из Массачусетского технологического института или Labeled Faces в Wild из университета штата Массачусетс, Амхерст. Labeled Faces, например, содержит фотографии, которые были помечены с помощью краудсорсинга, на которых показаны ситуации на улице, например, автомобиль или дерево,  или пешеходы. Успех программ компьютерного зрения определялся тем, могут ли машины найти эти объекты с помощью методов машинного обучения, таких как сверточные сети, которые часто называют Deep Learning.

Но группа исследователей заявили, что просто называя объекты на фотографии – это слишком легко и не очень полезно. То, что компьютеры действительно должны быть в состоянии сделать, это «понять», что «происходит» на картинке. Так при поддержке DARPA, Стюарт Джеман (Stuart Geman), профессор прикладной математики в Университете Брауна и трое других исследователей разработали основы для стандартизированного теста, который мог бы оценить точность нового поколения более амбициозных программ компьютерного зрения.

Пример

Примеры изображения и соответствующие вопросы, предложенные группой исследователей для визуального теста Тьюринга. Вопросы сосредоточены на конкретных областях картинки и растут в сложности:



1.    Есть ли человек в голубом квадрате на фотографии? – ответ – да
2.    Является ли одним человек в голубом квадрате? (отметить как человек 1) – ответ – да
3.    Несет ли человек 1 что-либо? – ответ – да
4.    Является ли человек 1 женщиной? – да
5.    Идет ли человек 1 по тротуару? – да
6.    Взаимодействует ли человек 1 с каким-либо объектом? – ответ – нет

9. Является ли автомобиль единственным транспортным средством в желтом квадрате? (пометить как автомобиль 1) – да
10. Автомобиль 1 светлого цвета? – да
11. Автомобиль 1 движется? – нет
12. Припаркован ли автомобиль 1 – да

14. Имеет ли автомобиль 1 одно видимое колесо? – нет
15. Взаимодействует ли автомобиль 1 с каким-либо другим объектом? – нет
17. Является человек единственным в красном квадрате? – нет
18. Есть ли в красном квадрате женщина? – нет
19. Есть ли человек, который находится стоя в красном квадрате? - да
20. Является ли одним человек, который находится стоя в красном квадрате? (отметьте как человек 2) – да

23. Взаимодействует ли человек 2 с другим объектом? – да
24. Человек 1 выше человека 2? – ответ – неизвестно
25. Человек 1 ближе к камере, чем человек 2? – да
26. Есть ли человек в красном квадрате? – да
27. Является ли человеком единственным в красном квадрате? – нет

36. Взаимодействуют ли между собой человек 1 и 2? – да
37. Разговаривают ли между собой человек 1 и 2? – да.

Исследование было опубликовано на этой неделе в работе Национальной академии наук. Соавторами Джемена являются ученые из Университета Джонса Хопкинса, Балтимор, штат Мэриленд и включают в себя брата Джемана – Дональда Джемана, наряду с Neil Hallonquist и Laurent Younes.

Их предлагаемый метод требует от человека-компьютерщика разработать перечень определенных атрибутов, которые может иметь картинка, таких как уличная ситуация, есть ли в ней люди, что они делают, говорят ли друг с другом. Фотографии сначала были вручную забиты человеком с этими критериями. Система компьютерного зрения затем будет показывать ту же картинку без «ответов», чтобы определить, сможет ли ИИ выбрать то, что требуют люди.

Первоначально, вопросы будут простыми, но будут расти в сложности, а программы станут более изощренными. Более сложные вопросы, возможно, будут связаны с характером взаимодействия между разными людьми на картинке.

В конце концов, разработчики теста будут спрашивать машины о таких знаниях, которые всегда был целью исследователей ИИ. Например: «Что произойдет с человеком в передней части здания, на которого вот-вот упадет фортепиано?»

Пришло время поднять планку

Одним из преимуществ предлагаемого подхода, говорит Джеман, является то, что это позволит информации быть разработанной для картинки, начиная с простой и становясь все более сложной. Это также даст основу для простых автоматизированных тестов, которые могут узнать, сколько элементов в этой связи в настоящее время подобрано с помощью программного обеспечения.

Джеман говорит, что из-за ограничений современных наборов данных исследователи компьютерного зрения были «обучены тестам» таким, как создание систем, которые пытаются просто обнаружить содержит ли фотография кошку. «Пришло время поднять планку», говорит он.

Джеман признал, что ни одна из систем глубокого обучения, используемых в настоящее время, не сможет пройти даже элементарные версии предложенного им испытания. На вопрос о том, является ли методика Deep Learning достаточно прочной, чтобы в один прекрасный день обрабатывать более сложные контексты и отношения, исследователь говорит: «Я думаю, здесь есть о чем ещё подумать».

Предложение Джемана и его коллег кажется интересным в развитии более эффективных способов измерения прогресса ИИ. Например, исследователи на недавней конференции в Остине, штат Техас, пытались придумать замену хорошо известному тесту Тьюринга. Они планируют продолжить обсуждение в июле в Буэнос-Айресе на Международной совместной конференции по искусственному интеллекту.

Гэри Маркус (Gary Marcus), исследователь Нью-Йоркского университета, который координирует эти заседания конференции, говорит, что в то время как ни один тест не может определить сложные ситуации, подходы, принимаемые Джеманом и другими учеными, являются «очень удачным верным шагом в правильном направлении, ведь ИИ отчаянно нуждается в ряде новых вызовов, которые приводят к более сложным системам.»

UPD: И наконец-то это случилось. В июле 2018 года интернет гигант Alibaba сообщил, что их робот прошел тест Тьюринга. Это уже второй известный случай, но первый среди компаний такого масштаба. Поэтому закономерно ожидать, что все больше крупных игроков присоединятся к данному движению.

Комментарии: