Будущее за роботами-аватарами
Идея XPrize заключается в том, что роботы совершенно не готовы действовать в реальном мире. Для полностью автономных роботов достижением по-прежнему является просто выжить в реальном пространстве, и еще далеко до обеспечения какой-либо полезной деятельности. По этому ближайшее будущее за роботами-аватарами, которых пилотируют реальные люди.
При существующих ограничениях автономные роботы тоже находят ценные ниши в структурированных процессах: на складах, заводских линиях, и даже в больницах и офисах. Но когда дело доходит до пространств неструктурированного характера, таких как городское пространство, зоны стихийных бедствий или обычное взаимодействие с человеком, то автономные роботы часто оказываются абсолютно непригодными для эксплуатации. Это значит, что в обозримом будущем люди по-прежнему необходимы. Однако это не означает, что человек должен присутствовать на месте физически, пилотировать дроном можно с любого расстояния, лиш бы был хороший интернет.
Фонд XPrize объявил конкурс на создание аватара, через которого человек сможет взаимодействовать с миром в режиме реального времени. Конкурс проводился с целью почерпнуть идеи для разработки роботизированных систем, которые могли бы пилотироваться людьми. Оператор должен мочь взаимодействовать с миром через робота в любом месте, где есть приличное подключение к интернету. Финальное мероприятие состоялось в Лонг-Бич, Калифорния, где 17 команд со всего мира боролись за призовой фонд в размере $8 000 000.
Хотя все аватары способны перемещаться и взаимодействовать с окружающей средой, конкурс Avatar XPrize продемонстрировал, что существует множество различных аппаратных и программных подходов к созданию наиболее эффективной системы.
Соревнования продемонстрировали силу роботизированнх системам в сочетании с людьми, поместив наш опыт и адаптируемость в тело аватара. Хотя роботы и интерфейсы были скорее исследовательскими проектами, а не системами, готовыми к использованию в реальных условиях, Avatar XPrize послужил вдохновителем и также инвестором, чтобы лучшие робототехники по всему миру смогли раздвинуть границы существующих возможностей.
Что такое робот-аватар, и зачем он нужен?
Система роботизированных аватаров похожа на виртуальную реальность, поскольку обе они позволяют человеку, находящемуся в одном месте, ощущать себя и взаимодействовать с объектами в другом месте, используя технологии. Как и VR, эффективный робот-аватар позволяет пилоту видеть, слышать, трогать, двигаться и общаться таким образом, что он ощущает, будто находится где-то в другом месте. Но там, где VR помещает человека в виртуальную среду, робот-аватар переносит человека в физическую среду, которая может находиться в соседней комнате или за тысячи километров.
Фонд XPrize надеется, что однажды роботов-аватаров можно будет использовать для более практических целей: мгновенного оказания помощи любому человеку, независимо от расстояния; оказание помощи при стихийных бедствиях; разбора завалов в районах, где слишком опасно находится спасателям; выполнение критического ремонта, в небе и под водой; а также технического обслуживания в других труднодоступных ил опасных для жизни местах. Этот список можно продолжать очень долго.
«Доступные методы, с помощью которых мы можем физически переносить себя из одного места в другое, масштабируются недостаточно быстро», — заявил Дэвид Локк, исполнительный директор Avatar XPrize. «Прорыв в этой области давно назрел. Наша цель — обойти барьеры расстояния и времени, представив новые средства физической связи, позволяющие любому человеку в мире физически ощущать другое место и оказывать помощь на месте там, где и когда она необходима».
Серьезные правила конкуренции
В конференц-центре Лонг-Бич организаторы приложили все усилия, чтобы создать атмосферу, которая была бы частично рок-концертом, частично спортивным мероприятием и частично робототехнической научно-исследовательской конференцией. Поле было построено на арене со стадионными сиденьями, и открыто для публики. Забег каждого участника сопровождался живыми комментариями. Между запусками команды работали над своими системами аватаров в конференц-зале, где могли взаимодействовать друг с другом, и любопытными зрителями. Участвовали 17 команд из Франции, Германии, Италии, Японии, Мексики, Сингапура, Южной Кореи, Нидерландов, Великобритании и США. Поскольку каждая команда готовилась к нескольким забегам в течение трех дней, атмосфера попеременно становилась безумной и сосредоточенной, поскольку члены команды перемещались по площадке и работали над ремонтом или улучшением своих роботов. Крупные исследовательские лаборатории состязались рядом с небольшими стартапами в области робототехники, и каждая команда надеялась, что именно их уникальный подход восторжествует.
Ярко освещенная арена была декоративными инопланетными камнями и несколькими различными рабочими станциями, куда могут перемещаться роботы. Задумка XPrize была в том чтобы локация выглядела как научная станция на чужой планете, а системы аватаров должны были выполнять задачи, включающие использование инструментов и идентификацию образцов горных пород.
Конкурс включал ряд заданий, которые должен был выполнить каждый робот, походивших на те, что выполняют луноходы научной миссии на поверхности чужой планеты. Среди них было общение с человеком-командиром миссии, нажатие электрического выключателя, преодоление полосы препятствий, определение контейнера по весу и манипулирование им, использование электродрели и, наконец, использование прикосновения для классификации образца горной породы. Команды ранжировались по количеству времени, которое потребовалось их системе аватаров для успешного выполнения всех задач.
В системе аватара есть два фундаментальных аспекта. Первый - это мобильный робот-манипулятор, которым управляет человек-оператор. Второй — это интерфейс, который позволяет оператору обеспечивать этот контроль, и это, пожалуй, самая сложная часть системы. В предыдущих соревнованиях по робототехнике (таких как DARPA Robotics Challenge и DARPA Subterranean Challenge), интерфейс обычно основывался на традиционном компьютере (или нескольких компьютерах) с клавиатурой и мышью, а обучение оператора требовало огромного количества времени и специальных знаний. Однако этот подход недоступен для подавляющего большинства людей, его сложно масштабировать, и список недостатков можно продолжать долго. Именно по этому на соревнованиях в Лонг-Бич акцент был сделан именно на орудии пилота. Предпочтение отдавалось системам аватаров, качество управления которыми не зависело от опыта оператора, поэтому их мог эффективно использовать любой человек.
«В конечном итоге операторами станут широкие массы людей», объясняет Локк. «Этот конкурс заставил команды потратить время на исследование и улучшение компонента управления оператора. Им пришлось направить свои технологии и усилия лабораторий на обычных пользователей, которые могли брать управление, и оставлять отзывы об опыте. Таким образом команды, набравшие наибольшее количество баллов, имели самые интуитивно понятные и удобные рабочие интерфейсы».
Во время соревнований членам команд не разрешалось управлять собственными роботами. Вместо этого к каждой команде был назначен судья, и у команды было 45 минут, чтобы обучить судью работе с роботом и интерфейсом. В состав судей входили эксперты в области робототехники, виртуальной реальности, взаимодействия человека с компьютером, и нейробиологии, но ни один из них не имел опыта работы оператором аватара.
После завершения обучения судья использовал интерфейс команды, чтобы управлять роботом на протяжении всего конкурса, в то время как команде ничего не оставалось, кроме как с волнением наблюдать. Двум членам команды было разрешено оставаться с судьей на случай технических проблем, а прямая трансляция из операторской запечатляла стресс и беспомощность, в которых находились команды. После многих лет работы и миллионов долларов на кону было все, и вот незнакомец, которого они встретили час назад, должен привести их систему к победе. Не всегда все шло гладко, а иногда и откровенно плохо, например, когда двуногий робот столкнулся с краем дверного проема на трассе, и рухнул на землю, получив повреждения, которые было невозможно исправить.
Технологии для взаимодействия с людьми
Разнообразие команд отразилось в разнообразии их систем аватаров. Соревнования предъявляли некоторые базовые требования к дизайну робота, включая мобильность, манипулирование и интерфейс связи, но в остальном каждая команда должна была разработать и внедрить собственное аппаратное и программное обеспечение. Большинство команд отдали предпочтение колесной базе с двумя роботизированными руками и головой, с экраном для отображения лица оператора. Несколько смелых команд представили двуногих роботов-гуманоидов . Стереокамеры обычно использовались для предоставления оператору визуальной информации и информации о глубине, а некоторые команды включали дополнительные датчики для передачи других типов информации о среде.
Например, в финальном соревновании оператору требовался эквивалент осязания, чтобы отличить шероховатый камень от гладкого. Хотя сенсорные датчики для роботов являются обычным явлением, перевести данные, которые они собирают, в нечто, читаемое человеком, непросто. Некоторые команды выбрали очень сложные (и дорогие) микрофлюидные перчатки, которые передают ощущения прикосновения от кончиков пальцев робота к кончикам пальцев оператора. Другие команды использовали небольшие вибромоторы, закрепленные на пальцах, чтобы преобразовать неровности в тактильную обратную связь, которую мог почувствовать оператор. Еще один подход заключался в установке микрофонов на пальцах робота. Когда его пальцы перемещались по разным поверхностям, шероховатые поверхности звучали для оператора громче, а гладкие — мягче.
Команда iCub из Итальянского Института Технологий считала, что их двуногий аватар обладает наиболее интуитивным способом передать роботу естественные человеческие движения.
На двух изображениях показаны иммерсивные интерфейсы аватаров, включающие VR-гарнитуры, ножные элементы управления, перчатки с силовой обратной связью и механические датчики движений рук. Многие команды, в том числе i-Botics (справа), использовали коммерческие гарнитуры виртуальной реальности как часть своих интерфейсов. Интерфейсы аватаров были сделаны максимально простыми, чтобы помочь операторам эффективно управлять своими роботами.
Помимо восприятия среды, оператор должен был эффективно и результативно управлять роботом. Из-за множества степеней свободы управления, ограниченного времени на обучение операторов, и конкуренции, оцениваемой по скорости, командам пришлось проявить творческий подход. Некоторые команды использовали системы виртуальной реальности с обнаружением движения, чтобы передавать движения оператора роботу-аватару. Другие команды отдавали предпочтение физическому интерфейсу, привязывая оператора к оборудованию как роботизированный экзоскелет, чтобы оно могло точно считывать его движения, а затем приводить в действие конечности робота-аватара, одновременно обеспечивая обратную связь по усилию. Поскольку руки оператора были заняты манипуляциями, движение робота по полу обычно контролировалось с помощью ножных педалей.
Еще одна задача конкурса XPrize заключалась в том, как использовать робота-аватара для общения с человеком. Команды оценивались по тому, насколько естественным было такое общение, что исключало использование только текстовых или только голосовых интерфейсов; вместо этого командам пришлось придать своему роботу какое-то выразительное лицо. Это было достаточно просто для операторских интерфейсов, использующих экраны; Веб-камера которых была направленна на оператора и транслировала лицо на экран робота, работала лучше всего.
Но для интерфейсов, в которых использовались VR-гарнитуры, где лицо оператора было частично скрыто, командам пришлось искать другие решения. Некоторые команды использовали отслеживание глаз и распознавание речи в гарнитуре, чтобы сопоставить голос и движения лица оператора с анимированным лицом. Другие команды динамически искажали реальное изображение лица пользователя, чтобы отразить движения его глаз и рта. Взаимодействие не было гладким, но оказалось на удивление эффективным.
Выигрыш вместо победы
В соревнованиях по робототехнике, таких как Avatar XPrize, существует неизбежный конфликт: между более широкой целью решений реальных проблем, и целями конкурирующих команд, которые заключается в том что бы победить на конкурсе. Победа не обязательно приводит к решению проблемы, которую пытаются решить разработчики. XPrize, возможно, хотел способствовать созданию «системы аватаров, которые могут переносить человеческое присутствие в удаленное место в режиме реального времени», но победившей командой стала та, которая наиболее эффективно выполнила весьма специфический набор задач конкурса.
Например, команда iCub из Итальянского института технологий (IIT) в Генуе, Италия, считала, что лучший способ перенести человеческое присутствие в отдаленное место - это поместить человека в как можно более подобного с ним робота. С этой целью система аватаров IIT состояла из небольшого двуногого робота-гуманоида — iCub. Но научить двуногого робота надежно ходить - непростая задача, особенно когда этот робот находится под непосредственным контролем неопытного человека. Понятно что в таких условиях iCub просто не мог двигаться так же быстро, как его колесные конкуренты.
XPrize отказался от курса, на котором поощрялись бы человекоподобные роботы (например, на трассе не было лестниц), что ставит вопрос о том, что на самом деле означает «человеческое присутствие». Если это означает возможность идти туда, куда могли бы добраться люди, тогда роботу точно потребуются ноги. Если это означает признание того, что роботы (и некоторые люди) имеют ограничения в передвижении, и, следовательно, сосредоточение внимания на других аспектах опыта аватара, то, возможно, ноги не являются обязательными. Какими бы ни были намерения XPrize, сам конкурс в конечном итоге определил, что нужно для успешной победы аватара в испытаниях конкурса.
Оптимизация аватара под задания конкурса
Неудивительно, что команды, которые сосредоточились на соревнованиях и соответствующим образом оптимизировали свои системы аватаров, как правило, показывали хорошие результаты. Команда Northeastern заняла третье место и получила 1 миллион долларов, используя гидростатический интерфейс с обратной связью для оператора. Интерфейс был основан на системе жидкостных приводов, впервые разработанной еще десять лет назад в Disney Research.
Второе место досталось французскому стартапу Team Pollen Robotics. Их робот Reachy основан на коммерчески доступном мобильном манипуляторе Pollen Robotics и, вероятно, был одной из самых доступных систем среди конкурентов, стоивших всего 20 000 евро. В основном использовались компоненты, напечатанные на 3D-принтере, и дизайн с открытым исходным кодом. Reachy был исключением из стратегии оптимизации, поскольку он задумывался как платформа для манипуляций в реальном мире. Но относительно простой подход команды помог им выиграть приз за второе место в размере 2 миллионов долларов.
На первом месте, пройдя все испытания менее чем за 6 минут с высшим результатом, оказалась команда NimbRo из Боннского университета в Германии. NimbRo имеет долгую историю соревнований по робототехнике; они участвовали в конкурсе DARPA Robotics Challenge в 2015 году и участвуют в международных соревнованиях RoboCup с 2005 года. Но Avatar XPrize позволил им сосредоточиться на новых способах объединения человеческого интеллекта с системами управления роботами. «Когда я наблюдаю, как человеческий интеллект управляет машиной, я нахожу это захватывающим», - сказал IEEE Spectrum руководитель группы Свен Бенке. «Человек может видеть отклонения от ожидаемого поведения машины, а затем творчески разрешать эти отклонения».
Система команды NimbRo в значительной степени полагалась на собственные чувства и знания человека-оператора. «Мы стараемся максимально использовать когнитивные способности человека», - объясняет Бенке. «Например, наша система не использует датчики для оценки глубины. Он просто полагается на зрительную кору головного мозга оператора, поскольку люди эволюционировали, чтобы определять ее чрезвычайно эффективными способами». Для этого у робота NimbRo была необычно длинная и гибкая шея, повторяющая движения головы оператора. Во время соревнований можно было увидеть, как голова робота двигалась из стороны в сторону, поскольку оператор использовал эти движения, чтобы понять, насколько далеко находятся объекты. Это работало довольно хорошо, хотя NimbRo пришлось реализовать специальную технику рендеринга, чтобы минимизировать задержку между движениями головы оператора и видеопотоком от робота.
Команда также приложила немало усилий, чтобы использование робота для того что бы манипулирование объектами было максимально интуитивным. Руки оператора были напрямую прикреплены к роботизированным рукам, которые были копиями рук робота-аватара. Это означало, что любые движения руки, совершаемые оператором, будут отражаться роботом, обеспечивая очень стабильное управление для оператора.
Будущее гибридной автономности
Судьей-оператором победного забега команды NimbRo был Джерри Пратт, который несколько десятилетий проработал профессором робототехники во Флоридском институте человеческого и машинного познания, прежде чем в прошлом году присоединился к стартапу по робототехнике гуманоидов Fig. Пратт привел команду IHMC (и робота Boston Dynamics Atlas) к финишу на втором месте в финале DARPA Robotics Challenge. «Мне показалось невероятным, что вы можете научиться использовать эти системы за 60 минут», — сказал Пратт о его забеге XPrize. «И управлять ими очень весело!» Время победы Пратта (5:50) на прохождении всего конкурса Avatar XPrize было не намного медленнее человеческой скорости.
Напротив, в финале DARPA Robotics Challenge робота Atlas пришлось тщательно пилотировать команде экспертов. Роботу потребовалось 50 минут, чтобы пройти дистанцию, которую человек мог бы пройти примерно за 5 минут. «Пытаться что-то брать в руки с помощью джойстика и мыши (во время конкурса DARPA) было очень сложно и медленно», — говорит Пратт. «Ничто не сравнится с возможностью просто сказать: «О, это объект, позвольте мне схватить его» в режиме полного телеприсутствия. И просто сделать это».
Пратт, и Бенке из NimbRo рассматривают людей как важнейший компонент роботов, работающих в неструктурированной среде реального мира, по крайней мере, в краткосрочной перспективе. «Для принятия решений на высоком уровне нужны люди», — говорит Пратт. «Как только происходит что-то новое или что-то идет не так, в мире необходимо человеческое сознание. И именно поэтому вам необходимо телеприсутствие».
Бенке соглашается. Он надеется, что то, чему его группа научилась на конкурсе Avatar XPrize, приведет к гибридной автономии посредством телеприсутствия, при котором роботы большую часть времени будут автономны, но люди смогут использовать телеприсутствие, чтобы помочь роботам, когда они застревают. Этот подход уже реализуется в более простых контекстах, таких как роботы-доставщики на тротуаре, но еще не в тех сложных манипуляциях с участием человека, на которые способна система Бенке.
«Шаг за шагом моя цель — вывести человека из этого цикла, чтобы один оператор мог управлять примерно 10 роботами, которые большую часть времени будут автономны», - говорит Бенке. «И по мере работы этих 10 систем мы получаем больше данных, на которых можем учиться, и тогда, возможно, один оператор будет отвечать за 100 роботов.».
Хотя финальный конкурс Avatar XPrize был основан на сценарии освоения космоса, Бенке больше интересуют ситуации на Земле, в которых человеческое присутствие в теле робота может быть еще более ценным, например, личная помощь. Группа Бенке уже продемонстрировала , как их систему аватаров можно использовать, чтобы помочь человеку с травмированной рукой измерить кровяное давление и надеть пальто. Это звучит как простые задачи, но они предполагают именно такое человеческое взаимодействие и творческие манипуляции, которые исключительно сложны для робота в одиночку. Иммерсивное телеприсутствие делает эти задачи почти тривиальными и доступными практически для любого человека, прошедшего небольшую подготовку — именно этого и пытался достичь Avatar XPrize.
Тем не менее, трудно понять, насколько масштабируемы эти технологии. На данный момент системы аватаров хрупкие и дорогие. Исторически сложилось так, что между громкими соревнованиями по робототехнике и появлением новых технологий, таких как автономные автомобили и человекоподобные роботы, проходило от пяти до десяти лет, прежде чем они появлялись в полезном месте за пределами лаборатории. Вполне возможно, что автономность будет развиваться достаточно быстро, и влияние роботов-аватаров будет несколько снижено при выполнении обычных задач в структурированных пространствах. Но трудно представить, что автономные системы когда-либо достигнут человеческого уровня интуиции и творчества. То есть потребность в аватарах сохранится и в обозримом будущем. И если эти команды смогут использовать уроки, которые они извлекли за четыре года конкурса Avatar XPrize, чтобы вывести эту технологию из фазы исследований, то будущее станет неузнаваемым.
↩️ Последние новости и значимые события в мире робототехники
