Принцип глубокого обучения сочинение пример

ООО "Сочинения-Про"

Ежедневно 8:00–20:00

Санкт-Петербург

Ленинский проспект, 140Ж

Сочинение на тему Принцип глубокого обучения

Термин «глубокое обучение» был введен сообществом машинного обучения Риной Дехтер в 1986 году и искусственными нейронными сетями Игорем Айзенбергом и его коллегами в 2000 году в контексте булевых пороговых нейронов через нейронные сети для обучения с подкреплением. В 2006 году в публикации Джеффа Хинтона, Осиндеро и Те было показано, как многоуровневая нейронная сеть с прямой связью может быть эффективно предварительно обучена по одному слою за раз, обрабатывая каждый слой поочередно как неконтролируемую ограниченную машину Больцмана, а затем подстраивая ее используя контролируемое обратное распространение. В документе говорится об обучении для глубоких сетей убеждений.

Первый общий, работающий алгоритм обучения для контролируемых, глубоких, прямолинейных, многослойных персептронов был опубликован Алексеем Ивахненко и Лапой в 1965 году. В статье 1971 года описана глубокая сеть из 8 слоев, обученных групповым методом алгоритма обработки данных. Другие глубоко изученные рабочие архитектуры, особенно созданные для компьютерного зрения, начались с неокогнитрона, представленного Кунихико Фукусимой в 1980 году. В 1989 году Yann LeCun et al. применил стандартный алгоритм обратного распространения, который использовался в качестве обратного режима автоматического дифференцирования с 1970 года, к глубокой нейронной сети с целью распознавания рукописных почтовых индексов на почте. Пока алгоритм работал, обучение заняло 3 дня.

К 1991 году такие системы использовались для распознавания изолированных двумерных рукописных цифр, тогда как распознавание трехмерных объектов осуществлялось путем сопоставления двумерных изображений с трехмерной объектной моделью ручной работы. Венг и соавт. предположили, что человеческий мозг не использует монолитную трехмерную объектную модель, и в 1992 году они опубликовали Cresceptron, метод для распознавания трехмерных объектов в загроможденных сценах. Крезептрон представляет собой каскад слоев, похожих на неокогнитрон. Но в то время как Neocognitron требовал, чтобы программист-человек вручную объединял функции, Cresceptron изучал открытое число функций на каждом уровне без присмотра, где каждая функция представлена ​​ядром свертки. Cresceptron сегментировал каждый изученный объект из загроможденной сцены посредством обратного анализа через сеть. Максимальный пул, который сейчас часто используется в глубоких нейронных сетях (например, тесты ImageNet), впервые был использован в Cresceptron для уменьшения разрешения положения с (2 × 2) до 1 через каскад для лучшего обобщения.

В 1994 году Андре де Карвальо вместе с Fairhurst и Bisset опубликовал экспериментальные результаты многослойной булевой нейронной сети, также известной как невесомая нейронная сеть, состоящей из модуля самоорганизующейся нейронной сети для извлечения признаков, за которым следует модуль нейронной сети. модуль классификации нейронной сети, который прошел самостоятельную подготовку.

В 1995 году Брендан Фрей продемонстрировал, что можно обучить (в течение двух дней) сеть, содержащую шесть полностью соединенных слоев и несколько сотен скрытых единиц, используя алгоритм сна-пробуждения, разработанный совместно с Питером Даяном и Хинтоном. Многие факторы способствуют медленной скорости, в том числе проблема исчезающего градиента, проанализированная в 1991 году Зеппом Хохрайтером. Более простые модели, которые используют функции ручной работы для конкретных задач, такие как фильтры Габора и машины опорных векторов (SVM), были популярным выбором в 1990-х и 2000-х годах из-за вычислительных затрат ANN и отсутствия понимания того, как мозг связывает свои биологические сети. Как поверхностное, так и глубокое изучение (например, рекуррентные сети) ИНС изучалось в течение многих лет. Эти методы никогда не превосходили неоднородную модель гауссовской смеси с внутренней ручной обработкой / модель Скрытого Маркова (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминационно. Были проанализированы ключевые трудности, в том числе уменьшение градиента и слабая временная корреляционная структура в моделях нейронного прогнозирования. Дополнительными трудностями были отсутствие обучающих данных и ограниченная вычислительная мощность. Большинство исследователей распознавания речи отошли от нейронных сетей, чтобы заняться генеративным моделированием. Исключение было в SRI International в конце 1990-х. При поддержке NSA правительства США и DARPA, SRI изучал глубокие нейронные сети в распознавании речи и речи. Команда распознавания докладчиков Heck достигла первого значительного успеха с глубокими нейронными сетями в обработке речи в оценке Национального института стандартов и технологий 1998 года. Хотя SRI добился успеха с глубокими нейронными сетями в распознавании говорящих, они не смогли продемонстрировать аналогичные успехи в распознавании речи. Спустя десятилетие Хинтон и Дэн сотрудничали друг с другом, а затем с коллегами по группам в Университете Торонто, Microsoft, Google и IBM, что привело к возрождению глубоких нейронных сетей с прямой связью в распознавании речи.

Принцип повышения «сырых» функций по сравнению с оптимизацией, созданной вручную, впервые был успешно исследован в архитектуре глубокого автоэнкодера на «сырых» спектрограммах или линейных функциях банка фильтров в конце 1990-х годов, что свидетельствует о его превосходстве над Mel-технологиями. Цепстральные особенности, которые содержат этапы фиксированного преобразования из спектрограмм. Необработанные черты речи, формы волны, позже дали превосходные результаты в более широком масштабе. Многие аспекты распознавания речи были переняты методом глубокого обучения под названием «Долгосрочная кратковременная память» (LSTM), рекуррентной нейронной сетью, опубликованной Hochreiter и Schmidhuber в 1997 году. РНН LSTM избегают проблемы исчезающего градиента и могут изучать «Очень глубокое обучение» Задачи, которые требуют воспоминания о событиях, которые произошли за тысячи шагов до времени, что важно для речи. В 2003 году LSTM начал конкурировать с традиционными распознавателями речи по определенным задачам. Позже он был объединен с временной классификацией (CTC) в стеках RNN LSTM.

Как сообщается, в 2015 году благодаря распознаванию речи Google произошел резкий скачок производительности на 49% благодаря LSTM, прошедшему обучение в CTC, который они стали доступны через Google Voice Search. В начале 2000-х годов CNN обрабатывали приблизительно от 10 до 20% всех чеков, написанных в США. В 2006 году Хинтон и Салахутдинов показали, как многослойная нейронная сеть с прямой связью может быть эффективно предварительно обучена по одному слою за раз, обрабатывая каждый слой поочередно как неконтролируемую ограниченную машину Больцмана, а затем настраивая ее с помощью контролируемого обратного распространения.

Глубокое обучение является частью современных систем в различных дисциплинах, в частности, в области компьютерного зрения и автоматического распознавания речи (ASR). Результаты по часто используемым оценочным наборам, таким как TIMIT (ASR) и MNIST (классификация изображений), а также по ряду задач распознавания речи с большим словарным запасом постоянно улучшаются.

Сверточные нейронные сети (CNN) были заменены на ASR CTC для LSTM. Но более успешны в компьютерном зрении. Влияние глубокого обучения в отрасли началось в начале 2000-х годов, когда CNN уже обработали приблизительно 10–20% всех чеков, написанных в США. Промышленное применение глубокого обучения для крупномасштабного распознавания речи началось примерно в 2010 году. В конце 2009 года Ли Дэн пригласил Хинтона поработать с ним и коллегами, чтобы применить глубокое обучение к распознаванию речи. Они совместно организовали семинар NIPS 2009 года по углубленному обучению для распознавания речи. Семинар был мотивирован ограниченностью глубинных генеративных моделей речи и возможностью того, что при наличии более мощных аппаратных и крупномасштабных наборов данных глубокие нейронные сети (DNN) могут стать практичными. Считалось, что предварительное обучение DNN с использованием генеративных моделей сетей глубокого убеждения (DBN) позволит преодолеть основные трудности нейронных сетей.

Тем не менее, они обнаружили, что замена предварительного обучения большими объемами обучающих данных для прямого обратного распространения при использовании DNN с большими, зависящими от контекста выходными слоями привела к значительному снижению ошибок по сравнению с современной моделью гауссовой смеси. (GMM) / Hidden Markov Model (HMM), а также более продвинутые генеративные модели на основе систем. Характер ошибок распознавания, вызванных двумя типами систем, был характерно различным, предлагая техническое понимание того, как интегрировать глубокое обучение в существующую высокоэффективную систему декодирования речи во время выполнения, используемую всеми основными системами распознавания речи.

Анализ, проведенный в 2009–2010 гг., сравнил GMM (и другие генеративные модели речи) с моделями DNN, стимулировал ранние промышленные инвестиции в глубокое обучение для распознавания речи, что в конечном итоге привело к повсеместному и доминирующему использованию в этой отрасли. Этот анализ был выполнен с сопоставимой эффективностью (менее 1,5% по частоте ошибок) между дискриминационными DNN и генеративными моделями.

Поделиться сочинением
Ещё сочинения
Нет времени делать работу? Закажите!

Отправляя форму, вы соглашаетесь с политикой конфиденциальности и обработкой ваших персональных данных.