Сочинение на тему Принцип глубокого обучения

Термин «глубокое обучение» был введен сообществом машинного обучения Риной Дехтер в 1986 году и искусственными нейронными сетями Игорем Айзенбергом и его коллегами в 2000 году в контексте булевых пороговых нейронов через нейронные сети для обучения с подкреплением. В 2006 году в публикации Джеффа Хинтона, Осиндеро и Те было показано, как многоуровневая нейронная сеть с прямой связью может быть эффективно предварительно обучена по одному слою за раз, обрабатывая каждый слой поочередно как неконтролируемую ограниченную машину Больцмана, а затем подстраивая ее используя контролируемое обратное распространение. В документе говорится об обучении для глубоких сетей убеждений.

Первый общий, работающий алгоритм обучения для контролируемых, глубоких, прямолинейных, многослойных персептронов был опубликован Алексеем Ивахненко и Лапой в 1965 году. В статье 1971 года описана глубокая сеть из 8 слоев, обученных групповым методом алгоритма обработки данных. Другие глубоко изученные рабочие архитектуры, особенно созданные для компьютерного зрения, начались с неокогнитрона, представленного Кунихико Фукусимой в 1980 году. В 1989 году Yann LeCun et al. применил стандартный алгоритм обратного распространения, который использовался в качестве обратного режима автоматического дифференцирования с 1970 года, к глубокой нейронной сети с целью распознавания рукописных почтовых индексов на почте. Пока алгоритм работал, обучение заняло 3 дня.

К 1991 году такие системы использовались для распознавания изолированных двумерных рукописных цифр, тогда как распознавание трехмерных объектов осуществлялось путем сопоставления двумерных изображений с трехмерной объектной моделью ручной работы. Венг и соавт. предположили, что человеческий мозг не использует монолитную трехмерную объектную модель, и в 1992 году они опубликовали Cresceptron, метод для распознавания трехмерных объектов в загроможденных сценах. Крезептрон представляет собой каскад слоев, похожих на неокогнитрон. Но в то время как Neocognitron требовал, чтобы программист-человек вручную объединял функции, Cresceptron изучал открытое число функций на каждом уровне без присмотра, где каждая функция представлена ​​ядром свертки. Cresceptron сегментировал каждый изученный объект из загроможденной сцены посредством обратного анализа через сеть. Максимальный пул, который сейчас часто используется в глубоких нейронных сетях (например, тесты ImageNet), впервые был использован в Cresceptron для уменьшения разрешения положения с (2 × 2) до 1 через каскад для лучшего обобщения.

В 1994 году Андре де Карвальо вместе с Fairhurst и Bisset опубликовал экспериментальные результаты многослойной булевой нейронной сети, также известной как невесомая нейронная сеть, состоящей из модуля самоорганизующейся нейронной сети для извлечения признаков, за которым следует модуль нейронной сети. модуль классификации нейронной сети, который прошел самостоятельную подготовку.

В 1995 году Брендан Фрей продемонстрировал, что можно обучить (в течение двух дней) сеть, содержащую шесть полностью соединенных слоев и несколько сотен скрытых единиц, используя алгоритм сна-пробуждения, разработанный совместно с Питером Даяном и Хинтоном. Многие факторы способствуют медленной скорости, в том числе проблема исчезающего градиента, проанализированная в 1991 году Зеппом Хохрайтером. Более простые модели, которые используют функции ручной работы для конкретных задач, такие как фильтры Габора и машины опорных векторов (SVM), были популярным выбором в 1990-х и 2000-х годах из-за вычислительных затрат ANN и отсутствия понимания того, как мозг связывает свои биологические сети. Как поверхностное, так и глубокое изучение (например, рекуррентные сети) ИНС изучалось в течение многих лет. Эти методы никогда не превосходили неоднородную модель гауссовской смеси с внутренней ручной обработкой / модель Скрытого Маркова (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминационно. Были проанализированы ключевые трудности, в том числе уменьшение градиента и слабая временная корреляционная структура в моделях нейронного прогнозирования. Дополнительными трудностями были отсутствие обучающих данных и ограниченная вычислительная мощность. Большинство исследователей распознавания речи отошли от нейронных сетей, чтобы заняться генеративным моделированием. Исключение было в SRI International в конце 1990-х. При поддержке NSA правительства США и DARPA, SRI изучал глубокие нейронные сети в распознавании речи и речи. Команда распознавания докладчиков Heck достигла первого значительного успеха с глубокими нейронными сетями в обработке речи в оценке Национального института стандартов и технологий 1998 года. Хотя SRI добился успеха с глубокими нейронными сетями в распознавании говорящих, они не смогли продемонстрировать аналогичные успехи в распознавании речи. Спустя десятилетие Хинтон и Дэн сотрудничали друг с другом, а затем с коллегами по группам в Университете Торонто, Microsoft, Google и IBM, что привело к возрождению глубоких нейронных сетей с прямой связью в распознавании речи.

Принцип повышения «сырых» функций по сравнению с оптимизацией, созданной вручную, впервые был успешно исследован в архитектуре глубокого автоэнкодера на «сырых» спектрограммах или линейных функциях банка фильтров в конце 1990-х годов, что свидетельствует о его превосходстве над Mel-технологиями. Цепстральные особенности, которые содержат этапы фиксированного преобразования из спектрограмм. Необработанные черты речи, формы волны, позже дали превосходные результаты в более широком масштабе. Многие аспекты распознавания речи были переняты методом глубокого обучения под названием «Долгосрочная кратковременная память» (LSTM), рекуррентной нейронной сетью, опубликованной Hochreiter и Schmidhuber в 1997 году. РНН LSTM избегают проблемы исчезающего градиента и могут изучать «Очень глубокое обучение» Задачи, которые требуют воспоминания о событиях, которые произошли за тысячи шагов до времени, что важно для речи. В 2003 году LSTM начал конкурировать с традиционными распознавателями речи по определенным задачам. Позже он был объединен с временной классификацией (CTC) в стеках RNN LSTM.