Сочинение на тему Управление дроном с помощью камеры Leap

В настоящее время дроны широко используются во всем мире для различных целей, включая аэрофотосъемку, фотографирование, наблюдение и т. д. Простой контроллер жестов может значительно облегчить задачу пилотирования. В нашей реализации Leap Motion Controller используется для распознавания жестов, которые являются движением руки, и в результате мы можем контролировать движение дрона простыми жестами человеческой руки. Мотив этого проекта – захватить все точки руки и распознать жесты и управлять дроном одним и тем же жестом. С аппаратной точки зрения, контроллер Leap Motion Controller представляет собой устройство размером восемь на три сантиметра, которое содержит две стереокамеры и три инфракрасных светодиода. В этой статье предлагается схема распознавания жестов, явно предназначенная для камеры Leap Motion. Две стереокамеры, а также три инфракрасных светодиода выполняют функцию отслеживания инфракрасного света, имеющего длину волны около 850 нм, которая находится за пределами спектра видимого света. Наша реализация использования контроллера движения для управления движением дрона осуществляется с помощью простых человеческих жестов. Основным преимуществом этой системы является то, что захват всех жестов поможет управлять дроном без использования пульта.

Дроны в настоящее время широко используются во всех типах приложений. Беспилотники, используемые в таких приложениях, как аэросъемка, фотосъемка, наблюдение и т. Д. Простой контроллер жестов может значительно облегчить задачу пилотирования. В этом исследовании мы представляем нашу реализацию использования контроллера движения для управления движением дрона с помощью простых человеческих жестов. В нашей реализации Leap Motion Controller используется для распознавания жестов, которые являются движением руки, и в результате мы можем контролировать движение дрона простыми жестами человеческой руки. В последние годы распознавание жестов рук вызывает растущий интерес благодаря его применениям во многих различных областях, таких как взаимодействие человека с компьютером, робототехника и компьютерные игры, автоматическая интерпретация языка жестов и так далее. Первоначально эта проблема была решена сообществом компьютерного зрения с помощью изображений и видео.

Динамическое распознавание жестов рук считается проблемой последовательного моделирования и классификации. Недавнее появление устройства Leap Motion открыло новые возможности для распознавания жестов. В отличие от Kinect, это устройство явно предназначено для распознавания жестов рук. В отличие от Kinect, это устройство явно предназначено для распознавания жестов рук и напрямую вычисляет положение кончиков пальцев и ориентацию руки.

Контроллер Leap Motion имеет небольшое USB-устройство, которое расположено вверх по направлению к устройству. Его также можно установить на гарнитуру виртуальной реальности. Используя две монохроматические ИК-камеры и три инфракрасных светодиода, устройство наблюдает примерно полусферическую область на расстоянии около 1 метра. В нашей реализации Leap Motion Controller используется для распознавания жестов, которые являются движением руки, и в результате мы можем контролировать движение дрона простыми жестами человеческой руки. Существует некоторая предыдущая реализация для управления дроном, но здесь мы покажем, как мотыга захватывает все точки рук, чтобы управлять дроном заданным жестом.

Аянава Саркар, Ketul Arvindbhai Patel, Гит Кришна Капур, Ганеш Рам РК «Контроль жестом дрона с помощью контроллера движений» исследует, что в настоящее время Дроны широко используются во всем мире для различных целей, включая воздушную видеографию, фотографирование, наблюдение и т. д. Во многих случаях требуется опытный пилот для выполнения этих задач с использованием дрона, который оказывается непомерным. Простой контроллер жестов может значительно облегчить задачу пилотирования. В этом исследовании мы представляем нашу реализацию использования контроллера движения для управления движением дрона с помощью простых человеческих жестов. Мы использовали Leap в качестве контроллера движения и Parrot AR DRONE 2.0 для этой реализации. Parrot AR DRONE – это готовый четырехъядерный ротор с встроенной системой Wi-Fi [1].

Джулио Марин, Фабио Доминио, Пьетро Зануттих «Распознавание жестов рук с помощью устройств скачкообразного движения и Kinect» утверждает, что в статье предлагается новая схема распознавания жестов рук, явно предназначенная для данных скачкообразного движения. Специальный набор функций, основанный на положениях и ориентации кончиков пальцев, вычисляется и подается в многоклассовый классификатор SVM для распознавания выполненных жестов. Набор функций также извлекается из глубины, вычисленной в Kinect, и объединяется с функциями Leap Motion для улучшения характеристик распознавания. Недавнее внедрение новых устройств для сбора данных, таких как Leap Motion и Kinect, позволяет получить очень информативное описание позы руки, которое можно использовать для точного распознавания жестов [2].

Вей Лу, член IEEE, Чжэн Тонг и Цзинхуэй Чу «Динамическое распознавание жестов рук с помощью контроллера скачкообразного движения» исследует, что в этой статье мы предлагаем новый вектор функций, который подходит для представления динамических жестов рук, и представляет Удовлетворительное решение для распознавания динамических жестов рукой только с помощью контроллера Leap Motion (LMC). Об этом не было сообщено в других статьях. Вектор объектов с информацией о глубине вычисляется и подается в классификатор Hidden Conditional Neural Field (HCNF) для распознавания динамических жестов рук. Предложенный вектор признаков, состоящий из элементов с одним пальцем и объектов с двумя пальцами, имеет два основных преимущества [3].

Бинг-Юй Лу, Чин-Юань Лин, Шу-Куанг Чанг, Йи-Йен Лин, Чунь-Сян Хуан, Хай-Ву Ли, Ин-Пын Лин «Управление лампочками в виртуальной реальности с помощью соматосенсорных управляемых переключателей с помощью скачкообразного движения Утверждает, что в исследовании представлены соматосенсорные управляемые переключатели Leap Motion. Переключатели были реализованы с помощью реле. «Обрыв» или «короткое замыкание» цепи переключения контролировались датчиком соматосенсорного модуля Leap Motion. Виртуальные переключатели на экране имеют 5 круговых кнопок. Были реализованы соматосенсорные управляемые переключатели на скачкообразном движении, чтобы помочь некоторым людям, чьи руки были повреждены, не справиться с переключателями [4].

Кемаль ЭРДОГАН, Акиф ДУРДУ, Нихат ЙИЛМАЗ «Распознавание намерений с использованием Leap MotionController и искусственных нейронных сетей». Распознавание намерений является важной темой в области взаимодействия человека с роботом. Если робот хочет совершать встречные движения вовремя в соответствии с действиями человека, роботизированная система должна обязательно распознавать намерения человека. Представлен метод для робототехнической системы для оценки намерений человека. В нашем методе информация предоставляется датчиком, называемым устройством контроллера скачкообразного движения. Решение о склонности человеческого намерения принимает искусственная нейронная сеть. Чтобы получить удовлетворительный результат из классификатора ANN, все наборы данных кластеризованы, обучены и протестированы вместе с методом перекрестной проверки k-кратных значений с различными передаточными функциями, алгоритмами обучения, номерами скрытых слоев и номерами итераций. [5]

РЕАЛИЗАЦИЯ СИСТЕМЫ

<Р> а. Аппаратное обеспечение: микроконтроллер:

Мы используем микроконтроллер AVR на базе ARM – ATMEGA32, представляющий собой 40-контактную ИС, состоящую из 5 портов и 32 программируемых линий ввода / вывода. Он работает на кристалле 8 МГц. Микроконтроллер имеет 8-канальный, 10-битный АЦП и 3 встроенных таймера. Он также состоит из 1024 байтов EEPROM и 2 Кбайт внутренней SRAM.

Система ПК подключена к микроконтроллеру через последовательную связь. ЦАП преобразует цифровые значения от датчиков в аналоговые. затем значения передаются на удаленный блок.

<Р> PCF8519P:

PCF8591P – это 8-разрядный аналого-цифровой и цифро-аналоговый преобразователь в 16-контактном DIP-корпусе. Это одночиповое 8-битное КМОП-устройство с низким энергопотреблением и одним источником питания, с четырьмя аналоговыми входами, одним аналоговым выходом и последовательным интерфейсом шины I2C. Функции PCF8591P включают мультиплексирование аналоговых входов, встроенную функцию отслеживания и удержания, 8-битное аналого-цифровое преобразование и 8-битное цифро-аналоговое преобразование. Максимальная скорость преобразования определяется максимальной скоростью шины I2C.