Основні особливості системи
Мова тіла іноді може достовірніше передавати наміри та дії людини, ніж мова. Але роботам поки що далеко до таких здібностей. Проте дослідники з університету Карнегі-Меллона розробили систему ІІ для відстеження тіла, яка б могла допомогти вирішити цю проблему - повідомляє robotics.ua.
Система OpenPose, що називається, може відстежувати рух тіла, включаючи руки і обличчя в режимі реального часу. Вона використовує комп'ютерний зір та машинне навчання для обробки відеокадрів та може відстежувати одночасно декілька людей. Ця можливість може полегшити взаємодію між людиною і роботом і прокласти шлях для більш інтерактивної віртуальної та доповненої реальності, а також інтуїтивно зрозумілих інтерфейсів користувача.
Однією з особливостей системи OpenPose є те, що вона може відстежувати не тільки голову людини, тулуб і кінцівки, але й окремі пальці. Для цього дослідники використовували Panoptic Studio CMU – електронний купол, оснащений 500 камерами, які захоплювали пози тіла людини під різними кутами, а потім використовували зображення для створення набору даних.
ФОТО
Далі вони передавали ці зображення через так званий детектор ключів, щоб ідентифікувати та маркувати певні частини тіла. Програмне забезпечення також навчається пов'язувати частини тіла з окремими людьми.
Зображення з купола були захоплені у 2D графіку. Але дослідники взяли виявлені ключові точки і перевели їх у 3D, щоб допомогти алгоритмам зрозуміти, як кожна поза з'являється з різних точок зору. При обробці всіх цих даних система спромоглася визначити, як виглядає вся рука, коли вона знаходиться в певному положенні, навіть якщо деякі її пальці закриті.
Тепер, коли система має набір даних, вона може працювати лише з однією камерою та ноутбуком. Це більше не вимагає застосування купола та камер, щоб визначити пози тіла, роблячи технологію мобільною та доступною. Дослідники вже опублікували свій код програмування системи громадськості, щоб стимулювати експерименти із нею.
Вони кажуть, що ця технологія може застосовуватись до всіх видів взаємодії між людьми та машинами. Вона може відігравати величезну роль у досвіді VR, дозволяючи більш точно виявляти фізичний рух користувача без додаткового обладнання, наприклад, сенсорних датчиків або рукавичок.
Відповідно до robotics.ua, система також може сприяти більш природній взаємодії з домашніми роботами. Розуміючи та інтерпретуючи фізичні жести, роботи можуть навчитися читати наші емоції. Наприклад, коли ви тихо плачете, закривши обличчя руками, робот це зрозуміє і зможе запропонувати вам хустку.
Зазначимо, що це не перший проект Карнегі-Меллона з машинного навчання. Минулого місяця вчені представили метод альтер-его для навчання роботів захоплювати різні предмети.
