Сочинение на тему Классификация эмоций и эмпирическая модовая декомпозиция (EMD).
- Опубликовано: 27.10.2020
- Предмет: Наука
Аннотация
Он был нацелен на классификацию эмоций для извлечения признаков в методе дискретного подхода и распознавания эмоций на основе эмпирического разложения по модам (EMD). При использовании EMD сигналы ЭЭГ автоматически разлагаются на функции внутреннего режима (IMF). Многомерная информация IMF используется в качестве признаков, первой разности временных рядов, первой разности фаз и нормализованной энергии. Эти три функции эффективны для распознавания эмоций. Роль каждого IMF выясняется, и мы обнаруживаем, что высокочастотный компонент IMF1 оказывает значительное влияние на обнаружение различных эмоциональных состояний. Кроме того, для классификации точности предлагаемого способа используются несколько классических методик, включая машины опорных векторов, квадратичные классификаторы, k-ближайший сосед, нейронные сети. Результаты эксперимента показывают, что наш метод может улучшить производительность распознавания эмоций.
ВВЕДЕНИЕ
Эмоции играют важную роль в нашей повседневной жизни и работе. Оценка и регулирование эмоций в реальном времени улучшат жизнь людей и улучшат ее. Например, в общении человек-машинное взаимодействие распознавание эмоций сделает процесс более простым и естественным. Другой пример, при лечении пациентов, особенно тех, у кого проблемы с выражением, реальное эмоциональное состояние пациентов поможет врачам оказывать более адекватную медицинскую помощь. В последние годы признание эмоций от ЭЭГ привлекло большое внимание. Кроме того, это очень важный фактор в системах интерфейса компьютер-мозг (BCI), который будет эффективно улучшать связь между человеком и машинами [1].
Для распознавания эмоций по сигналам ЭЭГ были предложены различные функции и методы извлечения, включая методы во временной области, методы в частотной области, методы совместного частотно-временного анализа и другие стратегии. Статистика рядов ЭЭГ, то есть первая и вторая разность, среднее значение и мощность, обычно используются во временной области [2]. Нелинейные особенности, включая фрактальную размерность (FD) [3, 4], энтропию выборки [5] и нестационарный индекс [6], используются для распознавания эмоций. Petrantonakis и tiadis Hadjileon были введены функции пересечения высшего порядка (HOC) для захвата колебательного паттерна ЭЭГ [10]. Ван и соавт. извлеченные особенности частотной области для классификации [11]. Анализ частотной области основан на спектре сигналов ЭЭГ; тогда энергия, мощность, спектральная плотность мощности (PSD) и дифференциальная энтропия [12] определенной подполосы обычно используются в качестве признаков.
Кратковременное преобразование Фурье (STFT) [13, 14], преобразование Гильберта-Хуанга (HHT) [15, 16] и дискретное вейвлет-преобразование (DWT) [17–19] – наиболее часто используемые методы для спектра расчет. Обычно тестировалось и проверялось, что высокочастотный поддиапазон, такой как бета (16–32 Гц) и гамма (32–64 Гц), превосходит нижний поддиапазон для распознавания эмоций [20, 21]. Другие особенности, извлеченные из комбинации электрода также используются, такие как когерентность и асимметрия электродов в различных областях мозга [22–24] и теоретико-графические особенности [25]. Jenke et al. провел исследование, сравнивающее эффективность различных функций, упомянутых выше, и получил руководящее правило для извлечения и выбора признаков [26]. Были также исследованы некоторые другие стратегии, такие как использование глубокой сети для улучшения производительности классификации. Ян и соавт. используется иерархическая сеть с узлами подсети для распознавания эмоций [28].
EMD предложено Huang et al. в 1998 году [29]. В отличие от DWT, которому необходимо заранее определить базовую функцию преобразования и уровень декомпозиции, EMD может автоматически раскладывать сигналы в IMF. Эти IMF представляют различные частотные компоненты исходных сигналов с ограниченной характеристикой полосы. Применяя преобразование Гильберта к IMF, мы можем получить мгновенную информацию о фазе IMF. Поэтому EMD подходит для анализа нелинейных и нестационарных последовательностей, таких как нейронные сигналы.
EMD широко используется для прогнозирования и обнаружения приступов, но для распознавания эмоций на основе EMD исследований не так много. Статистика IMF более высокого порядка [30], геометрические свойства разложенного IMF в комплексной плоскости [31], а также вариации и флуктуации IMF [32] используются в качестве функций для прогнозирования и обнаружения приступов. Для распознавания эмоций Мерт и Акан извлекли энтропию, мощность, спектральную плотность мощности, корреляцию и асимметрию IMF в качестве признаков, а затем использовали независимый компонентный анализ (ICA), чтобы уменьшить размерность набора функций [33]. Точность классификации рассчитывается по всем предметам, смешанным вместе. В этой статье мы представляем метод распознавания эмоций, основанный на EMD.
Мы используем первое различие в серии IMFtime, первое различие фазы МВФ и нормализованную энергию МВФ в качестве функций. Мотивация использования этих трех функций заключается в том, что они отображают характеристики МВФ во временной, частотной и энергетической областях, предоставляя многомерную информацию. Первое отличие временного ряда отображает интенсивность изменения сигнала во временной области.
Первая разница фаз измеряет интенсивность изменения фазы и нормированной энергии, описывающую вес составляющей колебаний тока. Три признака составляют вектор признаков, который подается в классификатор SVM для определения эмоционального состояния. Предлагаемый способ изучается на общедоступной эмоциональной базе данных DEAP [20]. Эффективность трех функций исследована. Обсуждается уменьшение IMF и уменьшение канала для извлечения признаков, которые направлены на повышение точности классификации при меньшей сложности вычислений. Производительность сравнивается с некоторыми другими методами, включая фрактальную размерность (FD), энтропию выборки, дифференциальную энтропию и частотно-временной анализ DWT.
МЕТОДИКА
Для реализации распознавания эмоционального состояния сигналы ЭЭГ разлагаются на IMF с помощью EMD. Три характеристики IMF: флуктуация фазы, флуктуация временного ряда и нормализованная энергия формируются как вектор признаков, который подается в SVM для классификации. Весь процесс алгоритма показан на рисунке 1.
Данные и материалы
DEAP – это общедоступный набор данных для анализа эмоций, в котором записаны ЭЭГ и периферические физиологические сигналы 32 участников во время просмотра 40 музыкальных клипов. Все музыкальные видеоклипы длятся в течение 1 минуты, представляя различные эмоциональные визуальные стимулы, с оценкой от 1 до 9. Из 40 музыкальных видео 20 – это визуальные стимулы с высокой валентностью, а 20 – визуальные стимулы с низкой валентностью. Ситуация точно такая же для измерения возбуждения. После просмотра музыкального видео участники провели самооценку своих уровней возбуждения, валентности, симпатий, доминирования и знакомства с оценками от 1 до 9. ЭЭГ регистрировали с 32 электродами, размещая по международной системе 10-20 , Каждый электрод записывал 63-секундный ЭЭГ-сигнал с 3-секундным базовым сигналом перед испытанием. Для этого мы использовали предварительно обработанные данные ЭЭГ для исследования с частотой дискретизации 128 Гц и диапазоном частот 4–45 Гц. Артефакты EOG были удалены как метод в [20]. Данные были разделены на 60-секундные испытания, и 3-секундная предварительная проверка была удалена. Рассмотрены бинарные классификации измерения валентности и возбуждения. Мы использовали сигналы ЭЭГ, извлеченные в качестве образца. Таким образом, для каждого субъекта, который просмотрел 40 музыкальных клипов, мы получаем 480 образцов с маркировкой. Каждое музыкальное видео длится 1 минуту, и 5-секундные сигналы ЭЭГ извлекаются в качестве образца. Таким образом, для каждого субъекта, который просмотрел 40 музыкальных клипов, мы получаем 480 образцов с маркировкой.
Эмпирическая модовая декомпозиция
EMD разлагает сигналы ЭЭГ на набор IMF с помощью процесса автоматического переключения. Каждый IMF представляет разные частотные компоненты исходных сигналов и должен удовлетворять двум условиям: (1) в течение всего набора данных число крайних точек и количество пересечений нуля должны быть равны или отличаться не более чем на единицу; (2) в каждой точке среднее значение, рассчитанное по верхнему и нижнему огибающим, должно быть равно нулю [29]. Для входного сигнала x (t) процесс EMD выглядит следующим образом: (1) Установите ℎ (t) = x (t) и ℎold (t) = ℎ (t). (2) Получите локальный максимум и минимум ℎold (t). (3) Интерполируйте локальный максимум и минимум с помощью функции кубического сплайна и получите верхнюю огибающую max (t) и нижнюю огибающую min (t). (4) Рассчитать среднее значение верхнего и нижнего конверта как. Это линейная комбинация компонентов МВФ и остаточной части. На рисунке 2 показан сегмент исходных сигналов ЭЭГ, соответствующих первым пяти разложенным IMF. EMD работает как адаптивный фильтр высоких частот. Сначала он смещает наиболее быстро меняющийся компонент, и когда уровень МВФ увеличивается, колебание МВФ становится более плавным. Каждый компонент ограничен полосой частот, что может отражать характеристику мгновенной частоты.
Извлечение функций
В этой статье три функции IMF используются для распознавания эмоций, первой разности временных рядов, первой разности фаз и нормализованной энергии. Первое отличие временного ряда отображает интенсивность изменения сигнала во временной области. Первое различие фаз выявляет изменение интенсивности фазы, представляющее физический смысл мгновенной частоты. Нормализованная энергия описывает вес составляющей колебаний тока. Мотивация использования этих трех функций заключается в том, что они отображают характеристики МВФ во временной, частотной и энергетической областях, используя многомерную информацию.
Первая разница временного ряда МВФ. Первая разница временного ряда отражает интенсивность изменения сигнала во временной области. Предыдущее исследование показало, что изменение временных рядов ЭЭГ может отражать различные эмоциональные состояния [2]. Для компонента IMF с точками IMF {imf1, imf2,…, imfn}, определение Dt
Первое отличие фазы МВФ: на основе EMD ЭЭГ разлагается на многоуровневые IMF, причем каждый IMF ограничен полосой частот и представляет компонент колебаний исходных сигналов ЭЭГ. За точку зрения МВФ, IMF {imf1, imf2,. , , , imf ????}, к нему применяется преобразование Гильберта, получая аналитический сигнал ???? (????) в качестве аналитического сигнала, который может быть далее выражен следующим образом
Нормализованная энергия МВФ: для точечной точки МВФ, IMF {imf1, imf2,. , , , imf ????}, нормализованная энергетическая норма определяется следующим образом: где ???? (????) – исходные точки сигнала ЭЭГ. Таким образом, числитель – это энергия МВФ, а знаменатель – энергия исходного набора данных ЭЭГ. Нормализованная энергия описывает вес составляющей колебаний тока. При подаче в классификатор log (норма нормы) берется в качестве элемента вектора признаков согласно [26].
Классификатор SVM. Извлеченные элементы передаются в SVM для классификации. SVM широко используется для распознавания эмоций [34, 35], который имеет многообещающие свойства во многих областях. В нашем исследовании SVM реализован для классификатора SVM с радиальной базисной функцией ядра и настройкой параметров по умолчанию [36].
ЗАКЛЮЧЕНИЕ
В этой статье предлагается метод распознавания эмоций на основе EMD с использованием трех статистических данных. Был проведен обширный анализ для изучения эффективности функций для классификации эмоций. Результаты показывают, что три функции подходят для распознавания эмоций. Затем выясняется влияние каждого компонента МВФ. Результаты показывают, что среди многоуровневых IMF первый компонент IMF1 играет наиболее важную роль в распознавании эмоций. Также информативный вектор, основанный на стратегии EMD, исследуется и выбирается для выделения признаков. Наконец, предлагаемый способ дает наибольшую точность.