Сочинение на тему Текущие события в распознавании эмоций и жестов

Было разработано множество разновидностей датчиков для носимых перчаток для сбора данных жестов, обычно с помощью комплектов датчиков, определяющих фактическое сгибание пальца, для точного считывания. Вообще говоря, распознавание эмоций, основанное на выражении лица, было тщательно исследовано. На сегодняшний день были предприняты некоторые усилия для создания систем, способных распознавать эмоции на основе двух модальностей (например, на основе сочетания официальных выражений и речевых данных, а также выражений лица и жестов). Это исследование сфокусировано на бимодальном распознавании эмоций (на основе сочетания выражения лица и жеста). Учет множественных модальностей полезен, когда некоторые значения модальных свойств отсутствуют или ненадежны. Это может произойти, например, когда процесс обнаружения признаков затруднен из-за шумных условий окружающей среды, когда сигналы искажаются во время передачи, или, в крайнем случае, как неврологическое расстройство или человек с особыми проблемами, когда система не может записать один из них. модальностей. В реальных натуралистических сценариях система распознавания эмоций должна обладать способностью справляться с этими ситуациями.

В этом отчете рассматриваются различные аспекты распознавания эмоций и жестов, а также различные инструменты, которые используются для повышения производительности и точности

Обзор литературы

Мультимодальное распознавание эмоций в речевом взаимодействии с использованием выражения лица, жеста тела и акустического анализа (Лоик Кессус, Джиневра Кастелано, Джордж Каридаки).

В этой статье представлено исследование по мультимодальному автоматическому распознаванию эмоций во время речевого взаимодействия. Выражение лица, жесты и акустический анализ речи использовались для выделения признаков, относящихся к эмоциям. Уже есть много баз данных, содержащих выражения лица и голоса, но жест часто не включается. Основным мотивом этой статьи было создание основы для взаимодействия нескольких модальностей. Корпус, использованный в этом исследовании, был собран специально для мультимодального распознавания эмоций, благодаря чему результат этой работы нельзя сравнивать с данными из литературы. Для разработки корпуса были организованы явные предметы и настройки, которые включают две DV-камеры (25 к / с), одну с высоким разрешением для записи лица участника и другую для записи тела участника и компьютерную систему прямого подключения к диску для голосовой связи. запись. Участникам было предложено действовать в восьми эмоциональных состояниях: гнев, отчаяние, интерес, удовольствие, грусть, раздражение, радость и гордость. Первоначально алгоритмы извлечения признаков применяются к базе данных, чтобы извлечь жизнеспособный признак для выполнения унимодального распознавания эмоций. Алгоритм Viola Jones используется для распознавания лиц, платформа EyesWeb – для отслеживания рук и тела участников. Система, основанная на байесовском классификаторе, использовалась для автоматической классификации унимодальных данных, бимодальных данных и мультимодальных данных. Общая эффективность распознавания унимодальных эмоций по выражению лица составила 48,3%, по жесту тела – 67,1%, а по речи – 57,1%. Ошибочная классификация не имеет большого значения, потому что ошибочная классификация в одном классе будет ослаблена в двух других. После выполнения автоматической классификации каждой модальности различные модальности были объединены с использованием мультимодального подхода. Сопоставление модальностей на уровне функций (до запуска классификатора) и на уровне результатов (объединение результатов из классификатора для каждой модальности) сравнивалось. Для сравнения результатов унимодальной, бимодальной и мультимодальной систем использовался общий подход, основанный на байесовском классификаторе, предоставленном программным обеспечением Weks, бесплатным набором инструментов, содержащим набор алгоритмов машинного обучения для задач интеллектуального анализа данных.

Общая производительность мультимодальной системы распознавания эмоций, основанной на объединении уровней функций, составила 78,3%, что явно выделяется как наиболее успешный классификатор по сравнению с показателями унимодального классификатора. В последнем наборе функций остается 17 наборов функций, из которых 5 функций относятся к модальности жестов, 9 функций – к модальности речи, а 2 – к модальности лица. Количество функций, сохраняющихся в каждой модальности, не указывает на вклад этой модальности. Подход, основанный на объединении на уровне принятия решений, имеет общие характеристики 74,6%, что явно ниже по сравнению с классификатором, основанным на объединении на уровне признаков. Бимодальная классификация была также выполнена с использованием слияния на уровне признаков. Как и ожидалось, классификатор, основанный как на выражении лица, так и на речевых данных, а также на жесте тела и речи, превосходит классификатор, обученный по одной модальности. Это приводит к выводу, что бимодальная и мультимодальная система распознавания эмоций улучшает распознавание по унимодальной системе. Автоматическая система демонстрирует подобное поведение, как у людей, использование нескольких модальностей для распознавания эмоций и обработки сигналов.

Распознавание жестов: обзор (С. Митра и Т. Ачарья)

В этом документе представлен обзор различных аспектов распознавания жестов с использованием таких инструментов, как анализ главных компонентов (PCA), FACS, контурные модели, фильтрация Габора, скрытые марковские модели (HMMS), конечный автомат (FSM), фильтрация частиц. и искусственная нейронная сеть (ANN). Жест – это один из естественных способов взаимодействия, жеста детей, даже до того, как они научатся говорить. Жест может быть статическим (специфическая поза) или динамическим (движение тела и руки). Жест можно широко классифицировать следующим образом:

Жест руки и руки: включает жестикуляцию, пантомимы, эмблемы и языки жестов. Инструменты, обсуждаемые для распознавания жестов рук, – это HMM, алгоритм конденсации, автоматы FSM и подход Connectionist.

Жест лица и головы: включает в себя кивок головы, направление взгляда, поднятие бровей, расширение ноздрей и т. д. Распознавание жестов лица используется в таких приложениях, как идентификация личности по уголовному делу, проверка кредитных карт, наблюдение, HDTV, лекарства и т. д. Обсуждаемые инструменты для жестов лица и головы используются HMM, PCA, FAC, модели контура, извлечение черт лица для распознавания жестов, фильтрация Габора и т. д.

Жест тела: включает движение всего тела, например: анализ движений танцора для создания соответствующей музыки и графики, распознавание походок человека для медицинской реабилитации и спортивных тренировок. Для распознавания жестов тела обсуждаются следующие инструменты: HMM, алгоритм фильтрации частиц и конденсации, подход FSM, программные вычисления и подход Connectionist.

Признание жестов играет важную роль в построении эффективного взаимодействия между человеком и компьютером. Он имеет широкое применение от распознавания языка жестов, фотожурналистики до медицинских технологий, биометрии и виртуальной реальности. Среди всех различных подходов объединение FSM и HMM предлагает потенциальный подход для повышения надежности и точности. Независимое моделирование каждого состояния FMS как HMM является интересным подходом, который может быть полезен для распознавания сложных жестов.

Посмотри на меня, научи меня: выражение лица и распознавание жестов для интеллектуальных обучающих систем (А. Саррафзаде, С. Александр, Ф. Дадгостар, С. Фан и А. Бигдели).

В этой статье обсуждается, как интеллектуальные системы обучения могут быть улучшены, чтобы включить аффективное состояние учащихся в модель ученика. Целью является разработка Easy with Eve, Affective Tutoring Systems (ATS) для математики, которая динамически обнаруживает не-вокальное поведение и использует эту информацию для персонализации взаимодействия со студентами. Эта система обнаруживает эмоции учеников, адаптируется к ученикам и отображает эмоции с помощью живого агента по имени Ева. Eve’s руководствуется системой, основанной на конкретных случаях, которая использует данные, полученные в результате наблюдательного исследования.

Интеллектуальная система обучения (ITS) способна адаптировать знания, способности к обучению и потребности каждого отдельного студента для предоставления индивидуального обучения. Интеллектуальная система обучения предлагает много преимуществ по сравнению с традиционным сценарием в классе: они всегда доступны, без суждений и обеспечивают индивидуальную обратную связь. Важным фактором успеха индивидуального репетиторства является способность репетитора выявлять и реагировать на аффективные сигналы, и здесь появляется система Affective Tutoring System, которая выявляет не-вокальное поведение в реальном времени и использует его для индивидуализации взаимодействия со студентом. Основой САР является анализ выражения лица и жестов для выявления аффективного состояния.

Для обнаружения лица, ANN (искусственная нейронная сеть) и подход на основе SVM (машина опорных векторов) и классификатор ANN с точностью 96. 34% опережают классификатор SVM. Как только аффективное состояние учащегося будет обнаружено, анимированный агент (Ева) сможет дать ученикам соответствующий эмоциональный отклик с помощью их собственного выражения лица и жеста. Наблюдательное изучение репетитора-человека включает видеосъемку нескольких репетиторов с целью изучения способов адаптации репетиторов-людей к аффективному состоянию ученика. Данные этого обсервационного исследования играют важную роль в процессе обучения для адаптации к влиянию учащегося. Ответы Евы определяются программой рассуждений, основанной на конкретных случаях, которая ищет данные на основе последовательности …