Основные особенности системы
Язык тела иногда может более достоверно передавать намерения и действия человека, чем речь. Но роботам пока далеко до таких способностей. Однако исследователи из университета Карнеги-Меллона разработали систему ИИ для отслеживания тела, которая могла бы помочь решить эту проблему, - сообщает robotics.ua.
Называемая OpenPose, система может отслеживать движение тела, включая руки и лицо в режиме реального времени. Она использует компьютерное зрение и машинное обучение для обработки видеокадров и может отслеживать одновременно несколько людей. Эта возможность может облегчить взаимодействие между человеком и роботом и проложить путь для более интерактивной виртуальной и дополненной реальности, а также интуитивно понятных пользовательских интерфейсов.
Одной из примечательных особенностей системы OpenPose является то, что она может отслеживать не только голову человека, туловище и конечности, но и отдельные пальцы. Для этого исследователи использовали Panoptic Studio CMU – электронный купол, оснащенный 500 камерами, которые захватывали позы тела человека под разными углами, а затем использовали эти изображения для создания набора данных.
Далее они передавали эти изображения через так называемый детектор ключей, чтобы идентифицировать и маркировать определенные части тела. Программное обеспечение также учится связывать части тела с отдельными людьми.
Изображения с купола были захвачены в 2D графике. Но исследователи взяли обнаруженные ключевые точки и перевели их в 3D, чтобы помочь алгоритмам понять, как каждая поза появляется с разных точек зрения. При обработке всех этих данных система смогла определить, как выглядит вся рука, когда она находится в определенном положении, даже если некоторые её пальцы закрыты.
Теперь, когда система имеет набор данных, она может работать только с одной камерой и ноутбуком. Это больше не требует применения купола и камер, чтобы определить позы тела, делая технологию мобильной и доступной. Исследователи уже опубликовали свой код программирования системы общественности, чтобы стимулировать эксперименты с ней.
Они говорят, что эта технология может применяться ко всем видам взаимодействия между людьми и машинами. Она может играть огромную роль в опыте VR, позволяя более точно обнаруживать физическое движение пользователя без какого-либо дополнительного оборудования, например, сенсорных датчиков или перчаток.
Согласно robotics.ua, система также может способствовать более естественному взаимодействию с домашними роботами. Понимая и интерпретируя физические жесты, роботы могут научиться читать наши эмоции. Например, когда вы тихо плачете, закрыв лицо руками, робот это поймет и сможет предложить вам платок.
Отметим, что это не первый проект Карнеги-Меллона по машинному обучению. В прошлом месяце ученые представили метод альтер-эго для обучения роботов захватывать различные предметы.
↩️ Последние новости и значимые события в мире робототехники
