Сочинение на тему Microsoft Kinect Sensor «Будущие тенденции и последние задачи исследований»
- Опубликовано: 13.08.2020
- Предмет: Информационная наука, Наука
- Темы: Корпорация Майкрософт, новаторство, Современные технологии, Технологии
С изобретением недорогого датчика Microsoft Kinect стало возможным широкое использование глубины и визуального восприятия (RGB) высокого разрешения. В последние годы Kinect приобрел большую популярность в качестве портативного недорогого устройства для захвата движений человека без маркера, что делает его легкой разработкой программного обеспечения. Датчик Microsoft Kinect – это недорогое устройство с высоким разрешением, глубиной и визуальным восприятием (RGB). Благодаря этим преимуществам и расширенным возможностям отслеживания скелета, он стал важным инструментом для клинической оценки, физической терапии и реабилитации. Эта статья содержит обзор эволюции различных версий Kinect и подчеркивает различия их ключевых особенностей.
КЛЮЧЕВЫЕ СЛОВА: компьютерное зрение, глубинное изображение, слияние информации, сенсор Kinect.
Введение:
Сохранение трехмерной информации о геометрии объектов или сцен имеет тенденцию все чаще применяться в обычном рабочем процессе для документирования и анализа культурного наследия и археологических объектов или объектов. В этой конкретной области исследования могут быть упомянуты потребности с точки зрения реставрации, консервации, цифровой документации, реконструкции или музейных выставок [1,2]. Процесс оцифровки в настоящее время значительно упрощен благодаря нескольким доступным методам, которые обеспечивают трехмерные данные [3]. В случае больших пространств или объектов предпочтительны наземные лазерные сканеры (TLS), поскольку эта технология позволяет очень быстро собирать большое количество точных данных. Пытаясь снизить затраты и работая с небольшими деталями, наоборот, цифровые камеры широко используются. Их преимущество в том, что они довольно просты в использовании благодаря методам трехмерной реконструкции на основе изображений [4]. Кроме того, обе методологии также могут быть объединены, чтобы преодолеть их соответствующие ограничения и обеспечить более полные модели [5,6]. Microsoft Kinect – это устройство, изначально разработанное для распознавания движений человека и разработанное в качестве контроллера для игровой приставки Xbox, которое продается с 2010 года. Исследователям не потребовалось много времени, чтобы заметить, что его применимость выходит за рамки игры в видеоигры, но для использования в качестве датчика глубины, который облегчает взаимодействие, используя жесты и движения тела.
В 2013 году было представлено новое устройство Kinect с новой игровой консолью под названием Kinect v2 или Kinect для Xbox One. Новый Kinect заменил старые технологии и принес много улучшений в качестве и производительности системы. Более старый Kinect, названный как Kinect v1 или Kinect для Xbox 360 после прибытия нового Kinect. Несмотря на то, что он относится к категории глубинных камер, датчик Kinect – это нечто большее. Он имеет несколько передовых сенсорных устройств, включая цветную камеру, датчик глубины и массив из четырех микрофонов. Эти датчики обеспечивают различные возможности в 3D захвате движения, распознавании лица и голоса [5]. В то время как Kinect для Xbox 360 использует структурированную модель освещения для получения карты глубины сцены, Kinect для Xbox One использует более быстрый и более точный датчик TOF. Функции отслеживания скелета в Kinect используются для анализа движений человеческого тела для приложений, связанных с взаимодействием человека с компьютером, захватом движения, распознаванием человеческой деятельности и другими областями. Кроме того, он отлично подходит для занятий, особенно в области физиотерапии и реабилитации. Экономичная технология времени полета (TOF) с возможностью ее применения для проверки положения пациента в лучевой терапии. В лучевой терапии пациент изначально позиционируется во время сканирования компьютерной томографии (КТ), который затем используется для создания плана лечения. План лечения предназначен для доставки туманоцидной дозы до планового целевого объема (PTV), который охватывает общее заболевание с дополнительным запасом для учета неопределенностей установки. После утверждения плана лечения пациенты возвращаются на несколько фракций в течение нескольких дней или недель. Точное воспроизведение позиционирования пациента между фракциями имеет решающее значение для обеспечения точного и эффективного выполнения утвержденного плана лечения. Мотивация этого опроса – предоставить исчерпывающее и систематическое описание популярных наборов данных RGB-D для удобства других исследователей в этой области.
ОБЗОР ЛИТРАТУРЫ:
Захват движения и определение глубины – две новые области исследований в последние годы. С запуском Kinect в 2010 году Microsoft открыла перед исследователями двери для разработки, тестирования и оптимизации алгоритмов для этих двух областей. Лейванд Т. [2] рассказал о технологии Kinect. Его работа проливает свет на то, как личность человека отслеживается датчиком Kinect для XBox 360. Также немного информации о том, как происходят изменения в технологии с течением времени. С запуском Kinect ожидает значительных изменений в технологиях идентификации и отслеживания. Они обсудили возможные проблемы в ближайшие несколько лет в области игр и идентификации и отслеживания датчиков Kinect. Идентификация Kinect выполняется двумя способами: биометрический вход и отслеживание сеанса. Они считали лицо, что игроки не меняют свою одежду и не меняют прическу, но они меняют свое выражение лица, принимают разные позы и т. Д. Он считает, что самой большой проблемой в успехе Kinect является фактор точности, как с точки зрения измерения, так и с точки зрения регрессии. Ключевая перспектива метода заключается в том, что они рассматривают одно изображение глубины и используют подход распознавания объектов. Из одного изображения глубины ввода они выводят распределение частей тела на пиксель. Отображение глубины относится к вычислению глубины каждого пикселя вместе с данными изображения RGB. Датчик Kinect в реальном времени предоставляет данные о глубине в изохронном режиме [18]. Таким образом, чтобы правильно отслеживать движение, каждый поток глубины должен быть обработан. Глубина камеры обеспечивает много преимуществ по сравнению с традиционной камерой. Он может работать при слабом освещении и является инвариантным по цвету [1], измерение глубины может быть выполнено либо с помощью лазерного зондирования по времени, либо с помощью структурированных световых паттернов в сочетании со стерео-зондированием [9]. Предлагаемая система использует технику стереозондирования, предоставленную PrimeSense [21]. Датчик глубины Kinect работает в режиме реального времени с большей точностью, чем любая другая доступная в настоящее время камера глубины. Глубинная камера Kinect использует лазерный луч для прогнозирования расстояния между объектом и датчиком. Технология, лежащая в основе этой системы, заключается в том, что датчик изображения CMOS напрямую подключен к Socket-on-chip (21). Кроме того, для расшифровки входных данных о глубине используется сложный алгоритм дешифрования (не выпущенный PrimeSense).
ПРЕДЛОЖЕНИЕ ИССЛЕДОВАНИЯ:
В связи с их привлекательностью и возможностями обработки изображений в последние десятилетия большое количество работ было посвящено камерам RGB-D. Целью этого раздела является описание современного состояния, связанного с этой технологией, с учетом таких аспектов, как области применения, методы калибровки или метрологические подходы. Области применения камер RGB-D – это широкий спектр применений, которые можно изучить при рассмотрении камер RGB-D. Основными преимуществами являются стоимость, которая является низкой для большинства из них по сравнению с лазерными сканерами, а также их высокая портативность, что позволяет использовать их на мобильных платформах. На пути к 3D-моделированию объектов с помощью камеры RGB-D создание 3D-моделей представляет собой общее и интересное решение для документирования и визуализации наследия и археологических материалов. Из-за его замечательных результатов и его доступности, вероятно, наиболее используемая техника археологического сообщества остается фотограмметрией. Источники ошибок и методы калибровки являются основной проблемой при работе с камерами ToF, из-за того, что полученные измерения искажены несколькими явлениями. Для обеспечения надежности полученных облаков точек, особенно для целей точного трехмерного моделирования, необходимо предварительно устранить эти искажения. Для этого полезно хорошее знание множества источников ошибок, которые влияют на измерения.
Перспективы на будущее. Анализируя вышеупомянутые статьи, мы считаем, что в этом исследовательском сообществе наверняка есть много будущих работ. Здесь мы обсуждаем потенциальные идеи для каждой из основных тем видения в отдельности. Отслеживание и распознавание объектов из вычитания фона на основе изображений глубины может легко решить практические проблемы, которые препятствовали отслеживанию и распознаванию объектов в течение длительного времени. Не удивительно, если крошечные устройства, оснащенные Rine-подобными Kinect и камерами глубины, появятся в нормальных офисных условиях в ближайшем будущем. Однако ограниченный диапазон глубинной камеры может не позволить ее использовать для стандартных приложений внутреннего наблюдения. Чтобы решить эту проблему, комбинация нескольких Kinects может быть потенциальным решением.
Это, конечно, потребует связи между Kinects и повторной идентификацией объекта в разных представлениях. Анализ человеческой деятельности – это создание надежного алгоритма, который может оценивать сложные позы человека (например, гимнастические или акробатические позы), и позы тесно взаимодействующих людей определенно станут активными темами в будущем. Для распознавания активности дальнейшие исследования для систем с малой задержкой, таких как описанная система, могут стать тенденцией в этом направлении, поскольку все больше и больше практических приложений требуют онлайн-распознавания. Анализ жестов рук показывает, что многие подходы позволяют избежать проблемы обнаружения рук в реальной ситуации, предполагая, что руки являются ближайшими объектами к камере. Эти методы являются экспериментальными, и их использование ограничено лабораторными условиями. В будущем методы, которые могут обрабатывать произвольные движения рук с высокой степенью свободы в реальных ситуациях, могут привлечь больше внимания. Кроме того, существует дилемма между методами, основанными на форме и трехмерной модели. Первый позволяет работать на высокой скорости с потерей общности, а второй обеспечивает универсальность при более высокой стоимости вычислительной мощности. Поэтому баланс и компромисс между ними станут активной темой. Внутреннее 3D-отображение соответствует результатам оценки, полученным в результате сбоя большинства современных подходов, когда в процессе отображения создаются ошибочные края. Следовательно, методы, которые способны обнаруживать ошибочные края и восстанавливать их автономно, будут очень полезны в будущем. В разреженных подходах, основанных на функциях, может возникнуть необходимость оптимизировать схему сопоставления ключевых точек, либо добавив таблицу поиска объектов, либо исключив несопоставленные функции. В подходах с плотным совмещением точек стоит попытаться реконструировать более крупные сцены, такие как интерьер целого здания. Здесь потребуются более эффективные представления памяти.
МЕТОДОЛОГИЯ ПРОЕКТИРОВАНИЯ: Наша система реализует дополненную реальность, используя возможности обработки Kinect. Система состоит из 4 основных компонентов, таких как устройство слежения, устройство обработки, устройство ввода и устройство отображения. Мы используем Kinect в качестве устройства отслеживания. Он содержит три датчика для обработки изображений глубины, RGB-изображений и голоса. Глубинная камера и многолучевой микрофон Kinect используются для захвата потока изображения в реальном времени и аудиоданных соответственно. Датчик глубины используется для определения расстояния между датчиком и объектом отслеживания. Устройство ввода для нашей установки – это камера высокого разрешения, которая используется для получения входного потока изображения и запуска в качестве фона для всех компонентов дополненной реальности. В этом фоновом потоке мы накладываем специфичные для события трехмерные модели, чтобы обеспечить опыт виртуальной реальности. Устройство обработки, состоящее из блока обработки данных, аудиоустройства и связанного с ним программного обеспечения, заботится о том, какую модель в какое время накладывать. Блок обработки передает входной видеопоток и 3D-модель на устройство отображения для целей визуализации. Система Kinect играет важную роль в работе всей системы. Эта система работает как система слежения за системой дополненной реальности. Эта система использует некоторые из наиболее интересных функций Kinect, такие как отслеживание скелета, совместная оценка и распознавание речи для человеческого тела. Отслеживание скелета полезно для определения положения пользователя в Kinect, когда пользователь находится в кадре, который будет использоваться для направления его в процессе сборки. Кроме того, это помогает в распознавании жестов.
Эта система помогает пользователю выполнить полную сборку продукта с использованием распознавания речи и жестов. Сборка изделия включает в себя сборку отдельных составных частей и сборку их в виде изделия. Для этой системы существует два режима сборки: полная сборка и сборка детали. В режиме полной сборки Kinect будет помогать технику по сборке всего продукта последовательно. Этот режим будет полезен, когда весь продукт должен быть собран. В режиме Сборка детали техник должен выбрать деталь для сборки, а затем Kinect поможет ему собрать выбранную деталь. Когда сборка этой детали завершена, техник может выбрать другую деталь или выйти. Этот режим будет полезен, когда деталь / детали должны быть собраны. Система была разработана для работы в 2 режимах: режим речи и режим жестов. Выбор режима был предоставлен пользователю исходя из его привычного отношения к системе и удобства его использования. Если пользователь выбрал речевой режим, он должен использовать голосовые команды для взаимодействия с системой, и система проведет его через голосовые команды. С другой стороны, если пользователь выбрал режим жестов, он должен использовать жест для взаимодействия с системой, и система проведет его через голосовые команды. Команда «START» используется в обоих режимах для запуска системы. После запуска системы пользователь выберет речевой режим или режим жестов и продолжит работу в том же режиме.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ: DOT NET TECHNOLOGY
Оборудование Kinect. Датчик Kinect, первая недорогая камера глубины, была представлена Microsoft в ноябре 2010 года. Во-первых, это обычно было игровое устройство с управлением движением. Затем была расширена новая версия для Windows. Здесь, в этом разделе, мы обсудим эволюцию Kinect для …
Цель этого эксперимента – получить представление о полностью настраиваемой программе LabVIEW и понять, как инженеры используют программу в своих интересах, чтобы создать собственную лабораторию, которая
РАСПОЗНАВАНИЕ ПИСЬМЕННОГО ХАРАКТЕРА С ИСПОЛЬЗОВАНИЕМ ИЗОБРАЖЕНИЯ АВТОРЕФЕРАТ В современном мире наблюдается огромный рост пробок на дорогах, и скорость, с которой люди покупают автомобили, значительно возрастает
Кибербезопасность или защита информационных технологий – это методы защиты компьютеров, сетей, программ и данных от несанкционированного доступа или атак, направленных на эксплуатацию. Существует четыре типа