Сочинение на тему Методы крупномасштабной классификации текста в обработке естественного языка

Принципиальный компонентный анализ: PCA – это классический многовариантный инструмент анализа данных, очень хорошая технология обработки уменьшения размера данных. Предположим, что имеется N образцов данных, каждый образец выражается через n наблюдаемых переменных x1, x2 ,. , , xn мы можем получить образец матрицы данных. PCA использует вариации каждой функции, чтобы максимизировать ее разделимость. Это необслуживаемый алгоритм. Шаги PCA являются

 
• Стандартизировать данные

 

• Получите собственные векторы и собственные значения из ковариационной матрицы или матрицы взаимосвязи.

 

• отсортируйте собственные значения в порядке убывания и выберите k собственных векторов, которые соответствуют k наибольшим собственным значениям, где kis число измерений подпространства новых признаков ≤ d

 

• Построить проекционную матрицу W из выбранных k собственных векторов.

 

• Преобразуйте исходный набор данных X через W, чтобы получить k-мерное подпространство пространственных объектов Y.

ПРИМЕНЕНИЕ АЛГОРИТМА КЛАССИФИКАЦИИ ТЕКСТА

Алгоритмы интеллектуального анализа данных в процессе обработки естественного языка используются для получения большого объема текстовых данных. Это набор эвристик и вычислений, который создает модель из данных. Алгоритм сначала анализирует предоставленные данные, затем определяются конкретные типы моделей или тенденций. Затем алгоритм использует результаты этого анализа в течение многих итераций, и были найдены оптимальные параметры для создания модели майнинга. Затем эти параметры применяются ко всему набору данных для извлечения действующих шаблонов и подробной статистики. Машинное обучение (или ML) – это область искусственного интеллекта (AI), которая представляет собой набор статистических методов для решения проблем. Чтобы применить методы ML к проблемам NLP, неструктурированный текст преобразуется в структурированный формат. Глубокое обучение (которое включает в себя Recurrent NeuralNetworks, Convolution Neural Networks и другие) является типом подхода машинного обучения. Это расширение NeuralNetworks. Глубокое обучение может быть использовано и для задач НЛП. Рис. 2. Отношения между ML, Deep Learning и NLPA. Методы машинного обучения для классификации текстаMachine Learning – это набор алгоритмов, которые анализируют данные, учатся на них, а затем применяют то, что они узнали, для принятия разумных решений. Моделирование двух методов кратко обсуждается ниже:

Классификация Нейва Байеса: Наивный байесовский классификатор – это классификатор с неконтролируемым контролем, который дает подход к выражению позитивных, негативных и нейтральных настроений в контенте. Классификатор NaiveBayes классифицирует слова на их соответствующие метки, используя идею условной вероятности. Преимущество использования Нейва Байеса в классификации контента заключается в том, что для его подготовки требуется небольшой информационный индекс. Необработанная информация из Интернета подвергается предварительной подготовке, эвакуации числовых, внешних слов, HTML-меток и необычных изображений, приводящих к расположению слов. Слова с отметками положительных, отрицательных и непредвзятых слов помечены и физически выполнены специалистами-людьми. Эта предварительная обработка производит наборы классификации слов для подготовки набора. Рассмотрим слово из набора тестов (набор слов без меток) и окно из n-слов (x1, x2, …, …, xn) из документа. Условная вероятность того, что данная точка данных y будет в категории n-слов из обучающего набора, определяется следующим образом: 2) Алгоритм J48, используемый для прогнозирования настроений: J48 – это классификатор на основе дерева решений, используемый для выработки правил для идентификации целевых терминов.

Пространство признаков выделено в уникальные области, в соответствии с классификацией теста по классификационным отметкам в прогрессивном механизме. Благодаря этой стратегии большие коллекции обучающих наборов обрабатываются с большей производительностью, чем различные классификаторы. , В наборе тестов уровень узла неизбежно повышается, когда закрывающий элемент определяет состояние имени внутреннего компонента в аналогичной части дерева. Различные две ветви дерева решений шаг за шагом создаются задачей назначения меток слов. , Расчет J48 использует энтропийную работу для проверки порядка сроков из набора тестов. Дополнительные основные моменты J48 представляют недостающие качества, обрезку деревьев выбора, диапазоны значений постоянных признаков, вывод принципов и т. Д., Где (Термин) может быть униформой, биграммом и триграммом. B. Методы глубокого обучения для классификации текста. Глубинное обучение – это техника в машинном обучении, которая обеспечивает большую мощность и гибкость, обучаясь представлять мир как вложенную иерархию понятий, причем каждое понятие определяется в отношении более простых понятий, а более абстрактные представления вычисляются в терминах менее абстрактных. , Два из методов глубокого обучения обсуждаются ниже:

Свернутая нейронная сеть: CNN широко использовались в обработке изображений, которые продемонстрировали относительно точные результаты в ней. Однако в НЛП, где источниками данных являются текст или предложения, относящиеся к матрице, когда CNN обрабатывает его, каждый столбец решетки сравнивается с одним токеном, который является словом, но это может быть символ. То есть каждая строка – это вектор, который говорит со словом. Обычно эти векторы представляют собой вложения слов (низкоразмерные изображения), но они также могут быть горячими векторами, которые вводят слово в словарь. Для предложения из 10 слов, использующего 100-мерное вложение, в качестве входного значения мы будем использовать сетку 10100. Например, рассмотрим классификацию предложений с использованием метода CNN, изображенного на рисунке 2. 3, Здесь определены три размера канала: 2, 3 и 4, каждый из которых имеет 2 фильтра. карты характеристик переменной длины создаются путем выполнения свертки каналов в сетке предложений. В этот момент пул 1-макс выполняется для каждого гида, т.е. е. наибольшее число от каждого компонента delineaterecorded. Следовательно, для шести карт создается одномерный вектор выделения, и эти 6 выделений связаны для формирования вектора компонента для предпоследнего слоя. Последний слой softmax в этот момент получает этот компонентный вектор и использует его для категоризации предложения; здесь предполагается двоичная характеристика и, следовательно, два возможных состояния вывода.

Рекуррентная нейронная сеть. Концепция сетей RNN заключается в использовании последовательных данных. В обычной нейронной системе мы ожидаем, что все источники ввода (и вывода) не зависят друг от друга. Тем не менее, обременительные задания – бесполезная мысль. В случае, если вам необходимо предвидеть следующее слово, вы лучше знаете, какие слова предшествовали ему. RNNs называются повторяющимися на том основании, что они воспроизводят аналогичные обозначения для каждого компонента группировки, а доходность основывается на прошлых расчетах. Другой подход к рассмотрению сетей RNN заключается в том, что у них есть «память», которая перехватывает данные о том, что было выяснено до сих пор.

Словом, RNN могут использовать данные в субъективно длинных последовательностях, однако постепенно они ограничиваются мысленным повторением всего лишь нескольких шагов. Модели систем RNN используются в двух вариантах: во-первых, это дает нам возможность оценивать самоутверждающие предложения с учетом того факта, что они так вероятны в реальности. Это дает нам пропорцию синтаксической и семантической корректности. Во-вторых, модель языка позволяет нам создавать новый контент. На рисунке внизу показан RNN …