Сочинение на тему Генерация частых наборов предметов с помощью алгоритма «сверху вниз» с использованием карты

В интеллектуальном анализе данных задачи правила объединения описательной техники, которые можно определить как обнаружение значимых шаблонов из большого набора данных. Майнинг частых предметов является очень фундаментальной частью майнинга правил ассоциации. За последние десятилетия было предложено много алгоритмов, в том числе методы, основанные на горизонтальной компоновке, методы, основанные на проектировании, и методы, основанные на проектной компоновке. Но большинство методов страдают от повторного сканирования базы данных, генерации кандидатов (алгоритмы Apriori), проблемы с использованием памяти и многих других для анализа частых паттернов. Как и в индустрии розничной торговли, многие транзакционные базы данных содержат один и тот же набор транзакций много раз. Чтобы применить эту мысль, в диссертации представлен улучшенный алгоритм Apriori, который гарантирует лучшую производительность, чем классический алгоритм Apriori.

Интеллектуальный анализ данных является основной частью KDD. Интеллектуальный анализ данных обычно включает в себя четыре класса задачи; классификация, кластеризация, регрессия и обучение правилам ассоциации. Интеллектуальный анализ данных означает обнаружение знаний в огромных объемах данных. Это точная дисциплина, которая связана с анализом наборов данных наблюдений с целью выявления непредвиденных взаимосвязей и дает обзор данных новыми способами, которые владелец может понять и использовать.

Интеллектуальный анализ данных как область изучения включает в себя интеграцию идей из многих областей, а не чистую дисциплину. Четыре основные дисциплины, которые способствуют интеллектуальному анализу данных, включают:

Статистика: она может использоваться для измерения данных, оценки вероятностей и многих других задач (например, линейная регрессия).

Машинное обучение: предоставляет алгоритмы для получения знаний из заданных данных (например, SVM).

Управление данными и базами данных: ввиду того, что интеллектуальный анализ данных связан с огромным объемом данных, необходим эффективный способ доступа к данным и их обслуживания.

Искусственный интеллект: он помогает выполнять задачи, связанные с кодированием знаний или методами поиска (например, нейронные сети).

Принципиально важно заявить, что основным ключом к пониманию и реализации технологии интеллектуального анализа данных является способность различать интеллектуальный анализ данных, операции, приложения и методы, как показано на рисунке 2

Одним из наиболее известных и популярных методов интеллектуального анализа данных является алгоритм ассоциации или алгоритм частого анализа наборов элементов. Из-за его важного применения, с тех пор было введено много пересмотренных алгоритмов, и поиск правил ассоциации все еще остается широко исследованной областью. В этой статье обсуждались многие варианты алгоритма частого извлечения паттернов из Apriori.

Алгоритм AIS, в котором генерируется набор элементов-кандидатов на лету во время каждого прохода сканирования базы данных. Большие наборы элементов из предыдущего прохода проверяются, если они были представлены в текущей транзакции. Поэтому расширение существующих наборов элементов создало новые наборы элементов. Этот алгоритм оказывается неэффективным, потому что он генерирует слишком много наборов кандидатов. Он требует больше места, и в то же время этот алгоритм требует слишком много проходов по всей базе данных, а также генерирует правила с одним последующим элементом.

Методы обнаружения правил ассоциации на основе данных традиционно фокусировались на выявлении взаимосвязей между предметами, указывающими на особенности человеческого поведения, обычно на поведение торговли для определения предметов, которые покупатели покупают вместе. Все правила этого типа описывают определенный локальный шаблон. Группа правил ассоциации может быть просто интерпретирована и передана. Правило связывания xy поддерживается в D, если вероятность транзакции в D содержит и X, и Y – s.

Задача правил сопоставления интеллектуального анализа данных состоит в том, чтобы найти все правила сопоставления, поддержка которых превышает минимальный порог поддержки, а достоверность которых превышает минимальный порог достоверности. Эти правила называются правилами строгой ассоциации.

Apriori использует итеративный подход, известный как поэтапный поиск, где k-наборы элементов используются для изучения (k + 1) -элементов.

Во-первых, найден набор частых 1-элементных наборов. Этот набор обозначается L1.L1 используется для поиска L2, набора частых наборов из 2 элементов, который используется для поиска L3 и т. Д., До тех пор, пока не будут найдены более частые наборы k-элементов. Для нахождения каждого Lkrequire требуется одно полное сканирование базы данных. Чтобы найти все частые наборы элементов, алгоритм принял рекурсивный метод. Основная идея заключается в следующем:

Априорный алгоритм (Itemset []).

{L1 = {большие наборы из 1 элементов};

для (k = 2; Lk-1F; k ++) do

{Ck = Apriori-gen (Lk-1);

{Ct = подмножество (Ck, t);

// получаем подмножества t, которые являются кандидатами для каждого кандидата c Ct do

<Р> c.count ++;}

Lk = {cCk | c.count = minsup}} Return = kLk;}