Сочинение на тему Языковое моделирование для поиска информации

Дисплей униграмм, используемый при восстановлении данных, можно рассматривать как смесь нескольких автоматов с ограниченным числом состояний. Он разделяет вероятности различных членов в уникальной ситуации, т.е. г. от P (t1t2t3) = P (t1) P (t2∣t1) P (t3∣t1t2) до Пуни (t1t2t3) = P (t1) P (t2) P (t3). В этой модели вероятность каждого слова зависит только от самой вероятности этого слова в отчете, поэтому у нас просто есть автоматы с ограниченным числом штатов в виде единиц. Сам робот имеет вероятностную циркуляцию по всему словарю модели, суммируя с 1. Далее следует представление униграммы модели записи. Термины Вероятность в документах 0. 1, 0. 031208 и 0. 029623, мы 0. 05 разделяем 0. 000109.. , , , , В контексте поиска информации модели униграммного диалекта часто сглаживаются, чтобы уклоняться от случаев, когда P (термин) = 0. Типичная методология состоит в том, чтобы создать наиболее экстремальное представление вероятности для всего сбора и напрямую вставить отображение накопления с наибольшей вероятностью, демонстрируемой для каждого архив, чтобы сделать сглаженную запись показа.

N-граммовая модель

В n-граммовом отображении вероятность P (w1,…, wm) просмотра предложения w1,…, wm аппроксимируется как Здесь, ожидается, что вероятность просмотра i-го слова wi в истории настроек предыдущего слова i − 1 можно аппроксимировать вероятностью его просмотра в сокращенной истории установки первых n − 1 слов (свойство Маркова n-го порядка). Ограничительная вероятность может быть вычислена из n-грамматических проверок повторяемости показа: слова биграмма и диалект триграммы показывают, что n-грамматические модели диалекта показывают с n = 2 и n = 3, отдельно. Обычно, как бы то ни было, вероятности отображения n-граммов не получаются прямо из подсчетов повторяемости, поскольку модели, выведенные по этим линиям, имеют крайние проблемы, когда сталкиваются с любыми n-граммами, которые явно не были замечены ранее. Скорее, некоторый тип сглаживания жизненно важен, распределяя часть совокупной вероятностной массы на незаметные слова или n-граммы. Используются различные стратегии, от базового сглаживания «включай один» (назначьте подсчет от 1 до незаметных n-грамм, как ранее неинформативного), до более сложных моделей, например, модели с понижением тона Тьюринга или откатами.

Экспоненциальная языковая модель

Модели с максимальным энтропийным диалектом кодируют связь между словом и историей n-граммы с использованием ярких возможностей. Условие состоит в том, что Z (w1,…, wm − 1) – работа участка, α – вектор параметров, а f (w1,…, wm) – работа элемента. В наименее сложном случае элемент работы является лишь указателем близости определенной n-граммы. Полезно использовать более раннюю α или некоторый тип регуляризации. Лог-билинейная модель является еще одним случаем экспоненциальной диалектной моды.

Модель нейронного языка

Модели нейронного диалекта (или модели непрерывного пространственного диалекта) используют согласованные изображения или вложения слов, чтобы делать свои предсказания. Эти модели делают использование нейронных систем. Непрерывные вложения в пространство помогают осветить бедствие размерности в диалекте, демонстрируя: по мере того, как модели диалекта готовятся к большим и большим письмам, количество уникальных слов (словарный запас) увеличивается, а количество мыслимых расположений слов увеличивается экспоненциально с ростом Объем словарного запаса, вызывая проблему разреженности информации на том основании, что для каждого из экспоненциально многочисленных последовательностей. Предполагается, что в этих направлениях обоснованно будут оцениваться вероятности. Нейронные системы остаются в стороне от этой проблемы, говоря с распределенными словами, как непрямое сочетание весов в нейронной сети. Заменяющим изображением является то, что нейронная сеть предполагала работу диалекта. Инжиниринг нейронной сети может быть прямым или прерывистым, и, имея в виду, что предыдущий более прост, последний более типичен. Обычно модели диалекта нейронной сети строятся и подготавливаются как вероятностные классификаторы, которые выясняют, как предвидеть перенос вероятности P (wt | context) ∀t ∈ V i. е. Система готова предвидеть циркуляцию вероятности по словарю, учитывая некоторую семантическую обстановку. Это завершается с использованием стандартных расчетов подготовки нейронной сети, например, стохастического углового врезания с обратным распространением. Параметр может быть окном фиксированного размера прошлых слов, поэтому система прогнозирует P (wt | wt − k,…, wt − 1) из вектора компонента, говорящего с последними k словами. Другой выбор состоит в том, чтобы использовать «будущие» слова и «прошлые» слова в качестве основных моментов, так что оцениваемая вероятность равна P (wt | wt − k,…, wt − 1, wt + 1,…, wt + k). Третий выбор, который позволяет быстрее подготовиться, состоит в том, чтобы обратить вспять прошлую проблему и повлиять на нейронную систему, чтобы принять конкретную ситуацию, если дать слово. Один в этот момент увеличивает логарифмическую вероятность.

Это называется дисплеем пропускаемых диалектов и является предпосылкой популярной программы word2vec. Вместо того, чтобы использовать модели диалекта нейронной сети для предоставления подлинных вероятностей, обычно вместо того, чтобы использовать циркулирующее изображение, закодированное в «скрытых» слоях системы, как изображения слов; каждое слово затем отображается на n-мерный подлинный вектор, называемый словом установкой, где n – экстент слоя непосредственно перед слоем yield. Изображения в моделях скип-грамм имеют безошибочный товарный знак, который демонстрирует семантические отношения между словами как прямыми сочетаниями, улавливая тип композиционности. Например, в некоторых таких моделях, если v – это емкость, которая отображает слово w на его изображение с вектором, в этот момент v (король) – v (мужчина) + v (женщина) ≈ v (королева), где ≈ сделано точнее, указав, что его правая часть должна быть ближайшим соседом оценки левой стороны.

Модель позиционного языка

Позиционная модель языка – это модель, которая отображает вероятность того, что заданные слова встречаются друг с другом в контенте, а не быстро примыкают. Аналогично, пакет концептуальных моделей использует семантику, связанную с многословными выражениями, например, buy_christmas_present, несмотря на то, что они используются в предложениях с большим количеством данных, таких как «сегодня я купил очень много очень приятных рождественских подарков». Модель позиционного диалекта (PLM), которая актуализирует две эвристики в связанном диалекте. Основная идея состоит в том, чтобы охарактеризовать отображение диалекта для каждой ситуации отчета и оценить архив в зависимости от оценок его PLM. PLM оценивается в зависимости от генерируемых проверок слов внутри записи с помощью работы по толщине на основе близости, которая учитывает эвристику близости и обеспечивает эффект «деликатного» восстановления раздела. Модель диалекта этого виртуального документа может быть оценена как: где V – словарный набор. Мы называем p (w | D, i) позиционной моделью диалекта в позиции i.