schedule
Watch-Bot состоит из 3D-сенсора (Kinect, в данном случае), камеры, которая может панорамироваться и наклоняться, портативного компьютера и лазерного указателя. Во время испытаний устройство собрало 458 видео обычной человеческой деятельности, которые затем были аннотированы с 21 различными действиями и 23 типами объектов, и в 222 из тех видео человек сознательно забывал что-то сделать.
Ход испытания
Для обучения Watch-Botу были показаны ряд видео с людьми, которые помнили о том, что нужно делать, и которые забывали о каких-то вещах. Порядок действий был свободным, поэтому роботу было достаточно сложно определить, используя вероятностные модели обучения, обнаруживать закономерности и отношения непосредственно с камеры и данных Kinect. Этот подход основан на том, что исследователи ИИ называют неконтролируемым обучением. Для напоминания о задачах Watch-Bot использует свою лазерную указку на цель в качестве напоминания.
Во время тестирования Watch-Bot смог указать, когда люди забыли что-то сделать (и успешно напомнить им). Задачи включали в себя выключение монитора, оставление молока на столе и забывание пищи в микроволновке. Большинство участников исследования сказали, что робот является достаточно полезным помощником.
Важно отметить, что, в сущности, робот не имеет ни малейшего представления о том, что происходит. Он не знает, что такое микроволновая печь, или что молоко испортилось: у него нет семантического понимания сцены. Но у него есть неконтролируемые алгоритмы обучения, которые отслеживают вероятностные модели для выявления забытых действий. Он видит, что, когда кто-то берет объект из холодильника, тот же человек почти всегда помещает объект обратно в холодильник, так что если вы этого не сделаете, он будет указывать вам на этот объект. В некотором смысле это отсутствие понимания делает Watch-Bot полезным. Зная об этих вещах, он может адаптироваться к новым ситуациям и определить новые модели, становясь все более полезным в течение долгого времени, особенно в новых условиях, когда он не имеет какого-либо опыта. На самом деле, исследователи в настоящее время работают, чтобы робот расширил свое обучение с онлайн-видео, включая пользовательский контент с YouTube, в рамках соответствующего проекта под названием Robowatch.
Watch-Bot не совсем наблюдатель. Согласно robotics.ua, он не разработан стать готовым продуктом, а скорее, это доказательство концепции базовой технологии, которая может быть легко перенесена на широкое разнообразие роботов, оснащенных датчиками RGB-D, Kinect и лазером. Возможно, это будут роботы, за которые вы захотите отдать деньги.
