Зрение робота - как это устроено и сферы применения
Содержание:
- Введение
- История развития машинного зрения
- Области применения машинного зрения
- Планы на будущее
- Заключение
Мы знаем, что основную часть информации о внешнем мире человек получает с помощью зрения и далее обрабатывает полученную информацию при помощи аппарата анализа и интерпретации визуальной информации. Поэтому ещё в прошлом веке встал вопрос о возможности машинной реализации данного процесса. Машинное зрение – необходимый компонент современных технологий. Этот элемент является одним из наиболее перспективных методов автоматизации действий с применением компьютерных технологий и робототехники. Системы машинного зрения подразумевают преобразование данных, поступающих с устройств захвата изображения, с выполнением дальнейших операций на основе этих данных.
В настоящее время машинное зрение наиболее востребовано в медицине, робототехнике, автомобильной промышленности, военной отрасли и биотехнологиях. Это связано с тем, что в этих отраслях уже есть четко сформулированные задачи для компьютерного зрения, решением которых занимаются ведущие исследовательские центры и компании. При этом возможное поле применения машинного зрения, по-настоящему, огромно - эти технологии могут быть использованы практически во всех сферах жизнедеятельности. За счет возрастания сложности решаемых научно-технических задач, автоматическая обработка и анализ визуальной информации становятся все более актуальными вопросами. Кроме того, можно сказать, что успех современного бизнеса основывается главным образом на качестве предлагаемой продукции. А для его обеспечения требуется визуальный контроль. Так появились цифровые и интеллектуальные камеры, а также программное обеспечение, обрабатывающее изображения для выполнения всех проверок.
Необходимость в машинном зрении возникает в ситуациях, связанных с риском для жизни, и бывает обусловлена особенностями человека как живого организма, которому свойственно быстро утомляться, пропускать через себя ограниченный объем информации, а также обрабатывать данные с относительно низкой скоростью. Конечно, в идеале речь идет о создании универсальной самообучающейся системы, которая бы «росла» и «зрела» так же, как это происходит с человеком с момента его рождения. Руководствуясь столь высокими целями, разработчики в области компьютерного зрения сегодня решают непростые задачи. Можно сказать, что область компьютерного зрения имеет недолгую по меркам фундаментальных наук, но очень бурную историю зарождения и развития.
История развития машинного зрения
История компьютерного зрения как науки берет свой отсчет с 50-х годов XX века. Именно в этот период компьютеры начали становиться общедоступным средством обработки и анализа информации. Однако следует отметить, что первые системы оцифровки визуальной информации были весьма примитивными, а изображения — малоформатными. В истории развития машинного зрения можно выделить следующие важные годы: 1958 г – ученый Фрэнк Розенблатт из университета Корнеля создал компьютерную реализацию персептрона. Это устройство моделировало схему распознавания образов человеческим мозгом. Аппаратный вариант Mark I Perceptron был построен в 1960 г. и предназначался для распознавания зрительных образов.
Mark I Perceptron
Однако рассмотрение задач машинного зрения носило скорее умозрительный характер, так как ни техники, ни математического обеспечения для решения таких сложных проблем еще не было. 1960-е гг – появились первые программные системы обработки изображений, стали развиваться прикладные исследования в области распознавания печатных символов. Однако все еще существовали ограничения в развитии данной области науки, такие как отсутствие дешевых оптических систем ввода данных, ограниченность и довольно узкая специализация вычислительных систем.
К началу 60-х годов задачи компьютерного зрения в основном охватывали область космических исследований, требовавших обработки большого количества цифровой информации. 1970-е гг. - Лауренс Робертс, аспирант МТИ, выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. На данном этапе стал проводиться более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.
1979 г. - профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основы теории анализа динамических сцен для распознавания движущихся объектов в видеопотоке. В конце 1980-х годов были созданы роботы, способные более-менее удовлетворительно оценивать окружающий мир и самостоятельно выполнять действия в естественной среде. 80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей различной физической природы. Совершенствование же технологий производства этих датчиков позволило существенным образом снизить их стоимость, а значит, значительно расширить область их применения.
С начала 90-х годов в алгоритмическом аспекте последовательность действий по обработке изображения принято рассматривать в согласии с так называемой модульной парадигмой. Эта парадигма, предложенная Д. Марром, утверждает, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от неструктурированной формы к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.). В середине 90-х годов появились первые коммерческие системы автоматической навигации автомобилей. Немного позже в конце 20-ого века удалось разработать эффективные средства компьютерного анализа движений.
2003 г – на рынок были выпущены первые достаточно надежные корпоративные системы распознавания лиц. К настоящему моменту теория компьютерного зрения полностью сложилась как самостоятельный раздел кибернетики, опирающийся на солидную научную и практическую базу знаний. Ежегодно по данной тематике издаются сотни книг и монографий, проводятся десятки конференций и симпозиумов, выпускается различное программное и аппаратно-программное обеспечение.
Области применения машинного зрения
В современном мире машинное зрение используется практически во всех технологических процессах. Наиболее яркими примерами хорошо финансируемых научных центров по развитию машинного зрения могут служить Лаборатория Искусственного Интеллекта Массачусетсского Технологического Института (MIT Artificial Intelligence Laboratory), UC Berkeley Computer Vision Group, Vision and Autonomous Systems Center Университета Корнеги-Меллона, Stanford Vision Laboratory.
Основными глобальными производителями систем машинного зрения являются компании Cognex, Sensopart, Visionics, Eyematic и другие. В России – SPIRIT, Лаборатория компьютерного зрения Института Информационных Технологий, Научно-технический центр «Модуль», «Проминформ» и ряд других организаций. Особенно востребованы системы машинного зрения в робототехнике.
Эксперты полагают, что эти технологии – самый простой способ научить аппараты автономным действиям в естественном мире. Так, с помощью машинного зрения роботы ориентируются в окружающей среде и помогают совершать видеоконференции. В промышленности машинное зрение – популярный метод автоматизации производства с применением современных роботов.
В промышленности
Применение промышленных роботов на производстве для перемещения предметов требует высокой точности позиционирования. В этом помогают продвинутые системы машинного зрения. С их помощью роботы способны проводить автоматический анализ предметов. Устройства захвата изображений, а также устройство анализа и обработки изображений в рабочей зоне манипулятора являются главными составляющими системы машинного зрения. Это не только ускоряет выполнение работ, но и исключает ошибки, обусловленные человеческим фактором.
Наиболее часто технологии машинного зрения применяются в автомобильной, пищевой и легкой промышленности. Современные цифровые камеры выпускаются преимущественно в формате 3D и могут способствовать главному компьютеру выполнять одновременно несколько операций – например, измерять уровень жидкости в таре, считывать штрих-код и проверять на месте ли крышка.
Довольно часто для организации машинного зрения требуются дополнительные устройства. В первую очередь это датчики, которые выполняют операции, недоступные основному устройству – камере. Это могут быть сенсоры движения, инфракрасные, фотоэлектрические датчики и т.д. Например, компания Clearpath Robotics использует в качестве основного элемента видения в своих роботах-транспортерах датчик 2D и 3D LIDAR. Вообще этот датчик имеет широкое распространение в автомобильной промышленности. С помощью него автономные автомобили могут «видеть» свой путь и избегать препятствий. Производители KUKA, Kawasaki, ABB, Epson используют технологии машинного зрения для точной и эффективной работы своих манипуляторов.
Дома
Важную роль машинное зрение играет в социальной и домашней робототехнике. Системами видения оснащены даже роботы-пылесосы, к примеру, последний пылесос от Samsung POWERbot VR9000H оснащен бортовой камерой и датчиками, которые сканируют пространство и позволяют роботу легко ориентироваться в помещении. А последний автоматизированный пылесос LG НОМ-BOT Turbo + имеет датчики камеры Triple Eye, которые отслеживают места, уже очищенные ранее. Камера расположена на передней части устройства и позволяет выполнять смарт-функцию под названием Home-Guard. У iRobot также появился новый роботизированный пылесос Roomba 980 с камерой, которая наклоняется вперед и вверх примерно на 45 градусов и технологией VSLAM для эффективного построения карты и логического следования по маршруту.
Отдельное достижение – это инновационная система OMOTE. Это технология машинного видения, которая способна в режиме реального времени определить форму лица, распознать все объекты на нем и проецировать точно подобранные изображения. Система может отсканировать предварительно лицо человека, затем наметить специальные точки для маркировки тех областей, на которые должны накладываться изображения. Поразительный эффект технологии достигается с помощью высокоточного проектора.
В сервисной отрасли
Сервисные роботы также представляют собой огромное поле деятельности для машинного зрения. Возьмем для начала область охранных систем для идентификации личности, распознавания и отслеживания движущихся объектов. Яркий пример – робот-охранник Bob от G4S, который эффективно сканирует офисы с помощью 3D датчиков, создавая отображение всей окружающей среды. Ещё один недавно выпущенный робот-охранник Knightscope K3 предоставляет комплексные решения безопасности как внутри помещений, так и на открытом воздухе, благодаря вращающемся радару на 360 градусов, камерам высокой четкости, тепловизору, системам распознавания номерных знаков, людей и лиц.
Известный робот телеприсутствия VGo может перемещаться благодаря компьютерному зрению по зданиям, позволяя людям видеть всё вокруг и общаться с людьми удаленно. Подобным образом действует и робот телеприсутствия с машинным зрением Beam от Suitable Technologies. Такие коммуникационные роботы, как Iuro, SociBot, Talking-Ally и новинка 2016 года Aido благодаря встроенным микрокамерам, искусственному интеллекту и датчикам могут распознавать предметы, различать лица людей, разговаривать и даже проявлять эмоции.
В общепите
Во многих ресторанах, отелях, торговых центрах и офисах уже давно используются продвинутые роботы для обслуживания клиентов. Машинное зрение в сочетании с ПО позволяет этим технологиям разговаривать с людьми и отвечать их просьбы. Наиболее яркий пример – гуманоид SoftBank Pepper, который активно распространяется по Японии и даже уже по Европе, работая в магазинах и торговых центрах в роли консультанта. Среди последних новинок в этой отрасли также стоит выделить робота Space Genius, предназначенного для работы в супермаркетах, сканирующего все продукты и штрих-коды и отображающего видео на дисплеях в HD разрешении.
В сельском хозяйстве
Существенный спрос на компьютерное зрение наблюдается со стороны сельскохозяйственных организаций, где необходима автоматизация деятельности по визуальному контролю и сортировке продуктов. Здесь могут применяться роботы с машинным видением, такие как CASER, Ladybird, а также Ibex. Последний оснащен целым массивом камер и датчиков, чтобы ловко, маневренно и с большей автономией работать на полях.
В беспилотниках
Далее рассмотрим большую сферу беспилотных летательных аппаратов, которые оснащены технологиями машинного зрения для автономного и безопасного полета. Aeromapper Talon является беспилотником с лучшей оптикой в мире – 16 МП камерой с объективом Voigtlander. Наряду с этими технологиями дрон имеет систему контроля дальности диапазона и передачи данных на большие расстояния (20 км). Компания SNAP Vision также предлагает беспилотники с высокотехнологичными компонентами. Так, дрон StitchCAM оснащен запатентованным датчиком изображения V2, который захватывает данные с высоким разрешением. Коптер DJI Phantom 4 является первым потребительским БПЛА с автономной системой позиционирования, использующей оптические, ультразвуковые датчики и 4 микрокамеры.
Машинное зрение играет большую роль для военных беспилотников, так как распознавание объектов с помощью компьютера необходимо для проведения миссий наблюдения и разведки. Такими технологиями оснащены военные беспилотники компаний Northrop Grumman, BAE Systems, Boeing и IAI. Возьмем к примеру БПЛА Northrop Grumman Bat, который оснащен высокоточными датчиками и камерами. Он может летать автономно, проводить разведку, наблюдение, рекогносцировку, определять самодельные взрывные устройства и работать сообща с пилотируемой авиацией.
В медицине
Отмечается рост интереса к системам машинного зрения и в сфере медицины. Эти технологии могут производить автоматический анализ медицинских изображений – рентген, томография, УЗИ. Обработка полученных при помощи компьютерного зрения изображений и видеоданных может применяться для более точной постановки диагнозов. Медицинские роботы, оснащенные системами компьютерного видения, уже доказали свою эффективность на практике. Хирургическая система da Vinci Xi имеет расширенные основные возможности, в том числе инструменты визуализации 3D-HD и интуитивного движения. Данная технология видения обеспечивает хирургу увеличенное изображение для точного позиционирования во время операции.
По подобному принципу работают роботы-хирурги CT Sabre от Parallax Innovations и IGAR от CSII. Медицинский робот RP-VITA от iRobot используется врачами, чтобы периодически наблюдать за пациентами, перенесшими инсульт в удалённых больницах. Этот робот снабжен тридцатью датчиками, которые позволяют ему передвигаться по больничным коридорам, автоматически избегать столкновений с медицинским персоналом или другими препятствиями.
Из последних новинок – робот-хирург STAR, который является первым автономным инструментом для проведения сложных хирургических операций. Его зрительная система опирается на инфракрасные маркеры области оперируемого органа. Специальная NIRF камера отслеживает эти маркировки в то время, как 3D-камеры записывают изображения всего операционного поля. Пока что аппарат применяется на животных, но возможно в будущем ожидать полноценные операции с его участием и на человеке.
Планы на будущее
Машинное видение имеет большие перспективы, чтобы превзойти человека в ближайшие десять лет. Уже сейчас роботы могут видеть сквозь стены и на километры вперед. Даже такое сложное задание, как расшифровка видеоинформации скоро будет по силам компьютерам. Умными роботами станут не только автомобили, но и роботы-поезда и роботы-самолеты. А еще роботы-хирурги, рука которых никогда не дрогнет и не сорвет скальпель, а их зоркий глаз вовремя заметит артерию.
Будем надеяться, что люди смогут направить развитие машинного зрения в верное русло. В будущем идеальная система машинного зрения будет основываться полностью на цифровых технологиях с использованием интеллектуальных камер и бюджетного оборудования для обработки и распознавания изображений. Ключевым элементом здесь, конечно, будет программное обеспечение, которое способно гибко и быстро настраиваться на нужную область с динамическим расширением функциональных возможностей.
Хирохиса Хирукава, исследователь из Национального института перспективных научных исследований и технологий, заявляет, что производство роботов в XXI веке может стать крупнейшей отраслью промышленности, подобно производству автомобилей в XX столетии. При этом уже к 2025-му, в крайнем случае, к 2050 году стоит ожидать массового распространения роботов, служащих для выполнения домашних работ. Руководитель проектного отдела компании Microscan Боб Таплетт также заявляет по этому поводу: «Можно утверждать, что в будущем системы машинного зрения превратятся в системы сбора данных. Устройства для считывания штрих-кодов уйдут в прошлое, и в значительной мере это будет обусловлено тем, что системы машинного зрения способны решать гораздо больше задач».
Заключение
Разобравшись в машинном зрении, мы убедились, что многие высоты уже достигнуты, но многие еще впереди. Развитие машинного зрения может помочь роботам достичь небывалых результатов и развить огромную мощь, опережая человека. Хотя до этого ещё далеко. Несовершенство машинного зрения обусловлено отчасти техническими причинами, однако идет бурное развитие информационных технологий и находится все больше решений этих технических проблем. Системы машинного зрения становятся все более актуальны, так как призваны решать наиболее значимые проблемы человечества, такие как безопасность, медицина, промышленные задачи. А что вы думаете о развитии машинного зрения в наше время? Предлагаем обсудить этот вопрос вместе с нами. Ждем ваших комментариев.
↩️ Последние новости и значимые события в мире робототехники
