Сочинение на тему Методы добычи данных

Методы добычи данных

С развитием информационных технологий было создано большое количество баз данных и огромное количество данных в различных областях. Исследования в различных базах данных и информационных технологиях всегда порождали подход к хранению и обработке этих ценных данных для дальнейшего принятия решений. Интеллектуальный анализ данных представляет собой процесс извлечения полезной информации и шаблонов из большого объема данных и называется процессом обнаружения знаний, интеллектуальным анализом данных, извлечением знаний или анализом данных или анализом шаблонов.

Интеллектуальный анализ данных – это логический процесс, который ищет полезные данные из большого количества необработанных данных. Основная цель этой техники – найти ранее неизвестные паттерны. Как только эти шаблоны найдены, их можно использовать для принятия определенных решений для машинного обучения и прогнозирования анализа.

Интеллектуальный анализ данных состоит из трех этапов:

<Р> а. Исследование: сначала данные очищаются и преобразуются в важные переменные, а затем определяется характер данных, основанных на проблеме.

<Р> В. Идентификация шаблона: после исследования, уточнения и определения данных для конкретных переменных вторым шагом является формирование идентификации шаблона. Определите и выберите модели, которые делают лучший прогноз.

<Р> С. Развертывание: наконец, шаблоны используются для достижения желаемого результата. [2]

Алгоритмы и методы интеллектуального анализа данных

Знания обнаруживаются из доступных баз данных с использованием различных видов алгоритмов и методов, таких как классификация, кластеризация, регрессия, искусственный интеллект, нейронные сети, правила ассоциаций, деревья решений, генетический алгоритм, метод ближайших соседей и т. д.

<Р> <сильный> а. Классификация

Классификация – это метод анализа данных, который назначает категории для сбора данных, чтобы помочь в более точных прогнозах и анализе. Одним из нескольких его методов является дерево решений. Цель состоит в том, чтобы установить правила классификации, которые будут отвечать на вопрос, принимать решения или прогнозировать поведение. Для начала разрабатывается набор обучающих данных, который содержит определенный набор атрибутов, а также вероятный результат. Задача алгоритма классификации – выяснить, как набор атрибутов достигает своего заключения. Различные типы моделей классификации – это классификация по дереву решений, нейронные сети, машина опорных векторов.

<Р> <сильный> В. Кластеризация

Кластеризация может быть названа идентификацией похожих классов объектов. Используя методы кластеризации, мы можем дополнительно идентифицировать плотные и разреженные области в пространстве объектов и можем обнаружить общую картину распределения и корреляции между атрибутами данных. Кластерный подход также может использоваться для эффективных средств различения групп или классов объектов. Но это становится дорогостоящим, поэтому кластеризация может использоваться в качестве подхода предварительной обработки для выбора и классификации подмножеств атрибута. Например, сформировать группу клиентов на основе моделей покупок, чтобы категории гены с аналогичными функциями. Методы разбиения, иерархические агломерационные (дивизионные) методы Методы на основе плотности, методы на основе сетки Методы на основе модели – это различные типы методов кластеризации

<Р> <сильный> С. Регрессия

Техника регрессии может быть адаптирована для прогнозирования. Регрессионный анализ можно использовать для моделирования взаимосвязи между одной или несколькими независимыми переменными и зависимыми переменными. В уже известных атрибутах интеллектуального анализа данных есть независимые переменные, а мы хотим предсказать переменные ответа. К сожалению, многие реальные проблемы не просто предсказания. Например, очень сложно предсказать объемы продаж, цены на акции и процент отказов продуктов, поскольку они могут зависеть от сложных взаимодействий нескольких переменных предикторов. Следовательно, для прогнозирования будущих значений могут потребоваться более сложные методы (например, логистическая регрессия, деревья решений или нейронные сети). Одни и те же типы моделей часто могут использоваться как для регрессии, так и для классификации. Например, алгоритм дерева решений CART (Деревья классификации и регрессии) можно использовать для построения как деревьев классификации (для классификации переменных категориальных ответов), так и деревьев регрессии (для прогнозирования переменных непрерывных ответов). Нейронные сети также могут создавать как классификационные, так и регрессионные модели.