Майбутнє за роботами-аватарами
Ідея XPrize полягає в тому, що роботи не готові діяти в реальному світі. Для повністю автономних роботів досягненням, як і раніше, є просто вижити в реальному просторі, і ще далеко до забезпечення будь-якої корисної діяльності. Тому найближче майбутнє за роботами-аватарами, яких пілотують реальні люди.
За існуючих обмежень автономні роботи теж знаходять цінні ніші у структурованих процесах: на складах, заводських лініях, і навіть у лікарнях та офісах. Але коли справа доходить до просторів неструктурованого характеру, таких як міський простір, зони стихійних лих, або звичайна взаємодія з людиною, то автономні роботи часто виявляються абсолютно непридатними для експлуатації. Це означає, що в найближчому майбутньому люди, як і раніше, необхідні. Однак це не означає, що людина повинна бути присутня на місці фізично, пілотувати дрон можна з будь-якої відстані, аби був хороший інтернет.
Фонд XPrize оголосив конкурс на створення аватара, через який людина зможе взаємодіяти зі світом у режимі реального часу. Конкурс проводився з метою отримати ідеї для розробки роботизованих систем, які могли б пілотуватися людьми. Оператор має мати можливість взаємодіяти зі світом через робота в будь-якому місці, де є пристойне підключення до інтернету. Фінальний захід відбувся в Лонг-Біч, Каліфорнія, де 17 команд з усього світу боролися за призовий фонд у розмірі $8 000 000.
Хоча всі аватари здатні переміщуватись та взаємодіяти з навколишнім середовищем, конкурс Avatar XPrize продемонстрував, що існує безліч різних апаратних та програмних підходів до створення найефективнішої системи.
Змагання продемонстрували силу роботизованих систем у поєднанні з людьми, помістивши наш досвід та адаптованість до тіла аватара. Хоча роботи та інтерфейси були скоріше дослідницькими проектами, а не системами, готовими до використання в реальних умовах, Avatar XPrize послужив натхненником і інвестором, щоб кращі робототехніки по всьому світу змогли розсунути межі існуючих можливостей.
Що таке робот-аватар, і навіщо він потрібний?
Система роботизованих аватарів схожа на віртуальну реальність, оскільки обидві вони дозволяють людині, яка перебуває в одному місці, відчувати себе та взаємодіяти з об'єктами в іншому місці, використовуючи технології. Як і VR, ефективний робот-аватар дозволяє пілоту бачити, чути, чіпати, рухатися та спілкуватися таким чином, що він відчуває, ніби перебуває десь в іншому місці. Але там, де VR поміщає людину у віртуальне середовище, робот-аватар переносить людину у фізичне середовище, яке може бути як у сусідній кімнаті, так і за тисячі кілометрів.
Фонд XPrize сподівається, що одного разу роботів-аватарів можна буде використовувати для більш практичних цілей: миттєвого надання допомоги будь-якій людині, незалежно від відстані; надання допомоги при стихійних лихах; розбору завалів у районах, де надто небезпечно перебувати рятувальникам; виконання критичного ремонту у небі та під водою; а також технічного обслуговування в інших важкодоступних або небезпечних для життя місцях. Цей перелік можна продовжувати дуже довго.
"Доступні методи, за допомогою яких ми можемо фізично переносити себе з одного місця в інше, масштабуються недостатньо швидко", - заявив Девід Локк, виконавчий директор Avatar XPrize. «Прорив у цій галузі давно назрів. Наша мета — обійти бар'єри відстані та часу, представивши нові засоби фізичного зв'язку, що дозволяють будь-якій людині у світі фізично відчувати інше місце, та надавати допомогу на там, де і коли вона потрібна».
Серйозні правила конкуренції
У конференц-центрі Лонг-Біч організатори доклали всіх зусиль, щоб створити атмосферу, яка була б частково рок-концертом, частково спортивним заходом та частково робототехнічною науково-дослідною конференцією. Поле було побудоване на арені зі стадіонними сидіннями та відкрито для публіки. Забіг кожного учасника супроводжувався живими коментарями. Між запусками команди працювали над своїми системами аватарів у конференц-залі, де могли взаємодіяти один з одним, і глядачами. Брали участь 17 команд із Франції, Німеччини, Італії, Японії, Мексики, Сінгапуру, Південної Кореї, Нідерландів, Великобританії та США. Оскільки кожна команда готувалася до кількох забігів протягом трьох днів, атмосфера поперемінно ставала божевільною та зосередженою, оскільки члени команди переміщалися майданчиком і працювали над ремонтом чи поліпшенням своїх роботів. Великі дослідні лабораторії змагалися поруч із невеликими стартапами в галузі робототехніки, і кожна команда сподівалася, що саме їхній унікальний підхід переможе.
Яскраво освітлена арена була декорована інопланетним камінням і кількома різними робочими станціями, між якими мали переміщатися роботи. Задум XPRіze був у тому, щоб локація виглядала як наукова станція на чужій планеті, а системи аватарів повинні були виконувати завдання, що включають використання інструментів та ідентифікацію зразків гірських порід.
Конкурс включав низку завдань, які повинен був виконати кожен робот. Вони були схожі на ті, що виконують місяцеходи наукової місії на поверхні чужої планети. Серед них було спілкування з людиною-командиром місії, натискання електричного вимикача, подолання смуги перешкод, визначення контейнера за вагою та маніпулювання ним, використання електродриля та, нарешті, використання дотику для класифікації зразка гірської породи. Команди ранжувалися за кількістю часу, яка була потрібна їх системі аватарів для успішного виконання всіх завдань.
У системі аватара є два фундаментальні аспекти. Перший - це мобільний робот-маніпулятор, яким керує людина-оператор. Другий - це інтерфейс, який дозволяє оператору забезпечувати цей контроль, і це, мабуть, найскладніша частина системи. У попередніх змаганнях з робототехніки (таких як DARPA Robotics Challenge та DARPA Subterranean Challenge), інтерфейс зазвичай ґрунтувався на традиційному комп'ютері (або кількох комп'ютерах) з клавіатурою та мишею, а навчання оператора вимагало величезної кількості часу та спеціальних знань. Однак цей підхід недоступний для більшості людей, його складно масштабувати, і список недоліків можна продовжувати довго. Саме тому на змаганнях у Лонг-Біч акцент було зроблено саме на знарядді пілота. Перевага надавалася системам аватарів, якість управління якими не залежала від досвіду оператора, щоб їх могла ефективно використовувати будь-яка людина.
"Зрештою операторами стануть широкі маси людей", - пояснює Локк. «Цей конкурс змусив команди витратити час на дослідження та покращення компоненту управління оператора. Їм довелося направити свої технології та зусилля лабораторій на звичайних користувачів, які могли брати управління, і залишати відгуки про досвід. Таким чином команди, які набрали найбільшу кількість балів, мали інтуїтивно зрозумілі та зручні робочі інтерфейси».
Під час змагань членам команд не дозволялося керувати своїми роботами. Натомість до кожної команди був призначений суддя, і команда мала 45 хвилин, щоб навчити суддю роботі з роботом та інтерфейсом. До складу суддів входили експерти в галузі робототехніки, віртуальної реальності, взаємодії людини з комп'ютером та нейробіології, але жоден з них не мав досвіду роботи оператором аватара.
Після закінчення навчання суддя використовував інтерфейс команди, щоб керувати роботом протягом усього конкурсу, тоді як команді нічого не залишалося, окрім як з хвилюванням спостерігати. Двом членам команди було дозволено залишатися із суддею на випадок технічних проблем, а пряма трансляція з операторської знімала стрес та безпорадність, у яких знаходилися команди. Після багатьох років роботи та мільйонів доларів на кону було все, і ось незнайомець, якого вони зустріли годину тому, має привести їхню систему до перемоги. Не завжди все йшло гладко, а іноді і відверто погано, наприклад, коли двоногий робот зіткнувся з краєм дверного отвору на трасі, і звалився на землю, отримавши пошкодження, які було неможливо виправити.
Технології взаємодії з людьми
Різноманітність команд відбилося у різноманітності їх систем аватарів. Змагання пред'являли деякі базові вимоги до дизайну робота, включаючи мобільність, маніпулювання та інтерфейс зв'язку, але в решті кожна команда мала розробити та впровадити власне апаратне та програмне забезпечення. Більшість команд віддали перевагу колісній базі з двома роботизованими руками та головою, з екраном для відображення обличчя оператора. Декілька сміливих команд представили двоногих роботів-гуманоїдів. Стереокамери зазвичай використовувалися для надання оператору візуальної інформації та інформації про глибину, а деякі команди включали додаткові датчики передачі інших типів інформації про середовище.
Наприклад, у фінальному змаганні оператору був потрібний еквівалент дотику, щоб відрізнити шорсткий камінь від гладкого. Хоча сенсорні датчики для роботів є звичайним явищем, перевести дані, які вони збирають у щось, що сприймає людина, непросто. Деякі команди вибрали дуже складні (і дорогі) мікрофлюїдні рукавички, які передають відчуття дотику від кінчиків пальців до кінчиків пальців оператора. Інші команди використовували невеликі вібромотори, закріплені на пальцях, щоб перетворити нерівності на тактильний зворотний зв'язок, який міг відчути оператор. Ще один підхід полягав у встановленні мікрофонів на пальцях робота. Коли його пальці переміщалися різними поверхнями, шорсткі поверхні звучали для оператора голосніше, а гладкі — м'якше.
Команда iCub з Італійського Інституту Технологій вважала, що їхній двоногий аватар має найбільш інтуїтивний спосіб передати роботу природним людським рухам.
На двох зображеннях показані імерсивні інтерфейси аватарів, що включають VR-гарнітури, ножні елементи управління, рукавички із силовим зворотним зв'язком та механічні датчики рухів рук. Багато команд, у тому числі i-Botics (праворуч), використовували комерційні гарнітури віртуальної реальності як частину своїх інтерфейсів. Інтерфейси аватарів були зроблені максимально простими, щоб допомогти операторам ефективно управляти своїми роботами.
Крім сприйняття середовища, оператор повинен був ефективно та результативно керувати роботом. Через безліч ступенів свободи управління, обмеженого часу на навчання операторів, і конкуренцію, що оцінюється за швидкістю, командам довелося проявити творчий підхід. Деякі команди використовували системи віртуальної реальності з виявленням руху, щоб передавати рухи оператора роботу-аватару. Інші команди віддавали перевагу фізичному інтерфейсу, прив'язуючи оператора до обладнання як роботизований екзоскелет, щоб воно могло точно зчитувати його рухи, а потім приводити в дію кінцівки робота-аватара, одночасно забезпечуючи зворотний зв'язок зусилля. Оскільки руки оператора були зайняті маніпуляціями, рух робота по підлозі зазвичай контролювався за допомогою педалей.
Ще одне завдання конкурсу XPrize полягало в тому, як використовувати робота-аватара для спілкування з людиною. Команди оцінювалися з того, наскільки природним було таке спілкування, що виключало використання лише текстових чи голосових інтерфейсів; натомість командам довелося надати своїй роботі якусь виразну особистість. Це було просто для операторських інтерфейсів, що використала екрани, веб-камера яких була направлена на оператора і транслювала обличчя на екран робота. Така звʼязка працювала найкраще.
Але для інтерфейсів, у яких використовувалися VR-гарнітури, де особа оператора була частково прихована, командам довелося шукати інші рішення. Деякі команди використовували відстеження очей та розпізнавання мовлення в гарнітурі, щоб зіставити голос та рух обличчя оператора з анімованою особою. Інші команди динамічно спотворювали реальне зображення обличчя користувача, щоб відобразити рухи його очей та рота. Така взаємодія не була гладкою, але теж виявилося напрочуд ефективною.
Виграш замість перемоги
У змаганнях з робототехніки, таких як Avatar XPrize, існує неминучий конфлікт: між ширшою метою вирішення реальних проблем, та цілями конкуруючих команд, які полягають в тому, щоб перемогти на конкурсі. Перемога не обов'язково призводить до вирішення проблеми, яку намагаються розв'язати розробники. XPrize, можливо, хотів сприяти створенню «системи аватарів, які можуть переносити людську присутність у віддалене місце в режимі реального часу», але командою, що перемогла, стала та, яка найбільш ефективно виконала вельми специфічний набір завдань конкурсу.
Наприклад, команда iCub з Італійського Інституту Технологій (IIT) у Генуї, Італія, вважала, що найкращий спосіб перенести людську присутність у віддалене місце - це помістити людину в якомога більше подібного з ним робота. З цією метою система аватару IIT складалася з невеликого двоногого робота-гуманоїду - iCub. Але навчити двоногого робота надійно ходити – непросте завдання, особливо коли цей робот перебуває під безпосереднім контролем недосвідченої людини. Зрозуміло, що в таких умовах iCub просто не міг рухатися так само швидко, як його колісні конкуренти.
XPrize відмовився від курсу, на якому заохочувалися людиноподібні роботи (наприклад, на трасі не було сходів), що ставить питання про те, що насправді означає «людську присутність». Якщо це означає можливість йти туди, куди могли б дістатися люди, тоді роботу точно знадобляться ноги. Якщо це означає, що роботи (і деякі люди) мають обмеження в пересуванні, і, отже, треба зосередити увагу на інших аспектах досвіду аватара, то, можливо, ноги є обов'язковими. Якими б не були наміри XPrize, сам конкурс зрештою визначив, що потрібно для успішної перемоги аватара у випробуваннях конкурсу.
Оптимізація аватара під завдання конкурсу
Не дивно, що команди, які зосередилися на змаганнях та відповідним чином оптимізували свої системи аватарів, зазвичай показували хороші результати. Команда Northeastern посіла третє місце та отримала 1 мільйон доларів, використовуючи гідростатичний інтерфейс із зворотним зв'язком для оператора. Інтерфейс був заснований на системі рідинних приводів, що вперше розроблена ще десять років тому в Disney Research.
Друге місце дісталося французькому стартапу Team Pollen Robotics. Їхній робот Reachy заснований на комерційно доступному мобільному маніпуляторі Pollen Robotics і, ймовірно, був однією з найдоступніших систем серед конкурентів, що коштувала лише 20 000 євро. В основному використовувалися компоненти, надруковані на 3D-принтері, та дизайн з відкритим вихідним кодом. Reachy був винятком із стратегії оптимізації, оскільки він замислювався як платформа для маніпуляцій у реальному світі. Але такий простий підхід команди допоміг їм виграти приз за друге місце у розмірі 2 мільйонів доларів.
На першому місці, пройшовши всі випробування менш ніж за 6 хвилин з найвищим результатом, виявилася команда NimbRo з університету Бонна в Німеччині. NimbRo має довгу історію змагань із робототехніки; вони брали участь у конкурсі DARPA Robotics Challenge у 2015 році та беруть участь у міжнародних змаганнях RoboCup з 2005 року. Але Avatar XPrize дозволив їм зосередитись на нових способах поєднання людського інтелекту з системами управління роботами. "Коли я спостерігаю, як людський інтелект керує машиною, я знаходжу це захоплюючим", - сказав керівник групи Свен Бенке. «Людина може бачити відхилення від очікуваної поведінки машини, а потім творчо вирішувати ці відхилення».
Система команди NimbRo значною мірою покладалася на власні почуття та знання людини-оператора. "Ми намагаємося максимально використовувати когнітивні здібності людини", - пояснює Бенке. «Наприклад наша система не використовує датчики для оцінки глибини. Він просто покладається на зорову кору головного мозку оператора, оскільки люди еволюціонували, щоби визначати її надзвичайно ефективними способами». Для цього у робота NimbRo була надзвичайно довга і гнучка шия, що повторює рух голови оператора. Під час змагань можна було побачити, як голова робота рухалася з боку на бік, оскільки оператор використовував ці рухи, щоб зрозуміти, наскільки далеко знаходяться об'єкти. Це працювало досить добре, хоча NimbRo довелося реалізувати спеціальну техніку рендерингу, щоб мінімізувати затримку між рухами голови оператора та відео від робота.
Команда також доклала чимало зусиль, щоб маніпулювання об'єктами було максимально інтуїтивним. Руки оператора були прикріплені безпосередньо до роботизованих рук, які були копіями рук робота-аватара. Це означало, що будь-які рухи руки, які здійснюють оператор, будуть відображатися роботом, забезпечуючи дуже стабільне управління для оператора.
Майбутнє гібридної автономності
Суддею-оператором переможного забігу команди NimbRo був Джеррі Пратт, який кілька десятиліть пропрацював професором робототехніки у Флоридському інституті людського та машинного пізнання, перш ніж минулого року приєднався до стартапу з робототехніки гуманоїдів Fig. Пратт привів команду IHMC (і робота Boston Dynamics Atlas) до фінішу на другому місці у фіналі DARPA Robotics Challenge. "Мені здалося неймовірним, що ви можете навчитися використовувати ці системи за 60 хвилин", - сказав Пратт про його забіг XPrize. "І керувати ними дуже весело!" Час перемоги Пратта (5:50) на проходженні всього конкурсу Avatar XPrize був не набагато повільнішим за людську швидкість.
А от у фіналі DARPA Robotics Challenge робота Atlas довелося ретельно пілотувати команді експертів. Роботу знадобилося 50 хвилин, щоб пройти дистанцію, яку людина могла б пройти приблизно за 5 хвилин. «Намагатися щось брати в руки за допомогою джойстика та миші (під час конкурсу DARPA) було дуже складно і повільно», — каже Пратт. Ніщо не зрівняється з можливістю просто сказати: О, це об'єкт, дозвольте мені схопити його в режимі повної телеприсутності. І просто це зробити».
Пратт і Бенке з NimbRo розглядають людей як найважливіший компонент роботів, які працюють у неструктурованому середовищі реального світу, принаймні у короткостроковій перспективі. "Для прийняття рішень на високому рівні потрібні люди", - говорить Пратт. «Щойно відбувається щось нове або щось іде не так, у світі потрібна людська свідомість. І саме тому вам потрібна телеприсутність».
Бенке погоджується. Він сподівається, що те, чому його група навчилася на конкурсі Avatar XPrize, призведе до гібридної автономії за допомогою телеприсутності, при якій роботи більшу частину часу будуть автономними, але люди зможуть використовувати телеприсутність, щоб допомогти роботам, коли вони застрягнуть. Цей підхід вже реалізується в більш простих контекстах, таких як роботи-курʼєри на тротуарі, але ще не в таких складних маніпуляціях за участю людини, на які здатна система Бенке.
Хоча фінальний конкурс Avatar XPrize був заснований на сценарії освоєння космосу, Бенке більше цікавлять ситуації на Землі, в яких людська присутність у тілі робота може бути ще більш цінною, наприклад особиста допомога. Група Бенке вже продемонструвала, як їхню систему аватарів можна використовувати, щоб допомогти людині з травмованою рукою, виміряти кров'яний тиск та надіти пальто. Це звучить як прості завдання, але вони передбачають саме таку людську взаємодію та творчі маніпуляції, які винятково складні для робота. Іммерсивна телеприсутність робить ці завдання майже тривіальними і доступними практично для будь-якої людини, яка пройшла невелику підготовку — саме цього намагався досягти Avatar XPrize.
Проте важко зрозуміти, наскільки масштабуються ці технології. На даний момент системи аватарів тендітні та дорогі. Історично склалося так, що між гучними змаганнями з робототехніки та появою нових технологій, таких як автономні автомобілі та людиноподібні роботи, проходило від п'яти до десяти років, перш ніж вони з'являлися у корисному місці за межами лабораторії. Цілком можливо, що автономність розвиватиметься досить швидко, і вплив роботів-аватарів буде дещо знижений при виконанні звичайних завдань у структурованих просторах. Але важко уявити, що автономні системи колись досягнуть людського рівня інтуїції та творчості. Тобто потреба в аватарах збережеться і в найближчому майбутньому. І якщо ці команди зможуть використати уроки, які вони винесли за чотири роки конкурсу Avatar XPrize, щоб вивести цю технологію з фази досліджень, то майбутнє стане невпізнанним.
