Сочинение на тему Повышение градиента с нуля

Когда мы пытаемся предсказать целевую переменную, используя любую технику машинного обучения, основными причинами различий в фактических и прогнозируемых значениях являются шум, дисперсия и смещение. Ансамбль помогает уменьшить эти факторы. Ансамбль – это просто набор предикторов, которые объединяются (например, среднее из всех предсказаний), чтобы дать окончательный прогноз. Причина, по которой мы используем ансамбли, заключается в том, что многие разные предикторы, пытающиеся предсказать одну и ту же целевую переменную, будут выполнять лучшую работу, чем один единственный предиктор. Методы ансамблирования также подразделяются на мешки и бустинг.

Упаковка в мешки – это простая техника ансамбля, в которой мы строим много независимых предикторов / моделей / обучающихся и объединяем их, используя некоторые методы усреднения моделей. (например, взвешенное среднее, большинство голосов или нормальное среднее) Обычно мы выбираем случайные подвыборки / начальные данные для каждой модели, так что все модели мало отличаются друг от друга. Каждое наблюдение имеет одинаковую вероятность появления во всех моделях. Поскольку этот метод требует много некоррелированных учеников, чтобы сделать окончательную модель, он уменьшает ошибку, уменьшая дисперсию. Примером сборного ансамбля являются модели Random Forest. Повышение – это метод ансамбля, в котором предикторы создаются не независимо, а последовательно.