Во время активации нейрона лучше понять, каков фактический выход нейрона. Существует довольно много функций передачи, которые можно использовать. Традиционная функция называется «функция активации сигмоида», но функция tanh (гиперболический тангенс) также может использоваться для передачи выходных данных. В этот момент функция передачи выпрямителя становится все более популярной в огромных сетях глубокого обучения.
Функция активации сигмоида (также называемая логистической функцией) напоминает S-образную форму. Он может ввести другое значение и генерирует число от 0 до 1 на S-кривой. Более того, это функция, которую производная (наклон) генерирует в случае, если она понадобится нам при возникновении ошибки обратного распространения.
Проходя через каждый наш сетевой уровень, мы вычисляем выходы каждого нейрона. Пока один слой генерирует выходные данные, они станут входными данными на следующем уровне и отправят нейронам. Следующая функция называется прямым распространением, которое реализует ряд данных из набора данных для прямого распространения с нашей нейронной сетью. «Выход» – это имя, представляющее выходное значение нейрона, которое хранится в нейроне. Выходы, собранные со слоя в массиве, называются новыми входами. Он становится массивом, а также следующими входными значениями для следующего слоя.
Все части собраны вместе и будут отправлены для тестирования прямого распространения в сети. Наша сеть определяется как одна из скрытых нейронов, которая ожидает 2 входных значения. Также ожидается выходной слой с двумя нейронами.
Мы запустили распространенный пример (как показано ниже) с шаблоном ввода и обработали выводимое значение. Поскольку выходной слой имеет два нейрона, мы получаем вывод из списка из двух чисел.
Хотя фактические выходные значения в настоящее время кажутся бессмысленными. Мы собираемся начать делать вес нейронов очень полезным. Алгоритм обратного распространения – это способ изменения весов нейронов путем вычисления градиента функции потерь.
Ошибка рассчитывается между ожидаемыми выходными данными и передается обратно в сеть от выходного уровня к скрытому слою, назначая вину за ошибку и обновляя веса по мере их продолжения. Математика для ошибки обратного распространения коренится в исчислении, но мы останемся на высоком уровне в этом разделе и сконцентрируемся на том, что рассчитывается и как, а не почему расчеты принимают эту конкретную форму. Эта часть может быть разделена на Transfer Derivative и также Error Backpropagation.
Предполагая, что есть выходное значение от нейрона, наклон должен быть рассчитан. Во-первых, мы можем вычислить ошибку для каждого выходного нейрона, что позволяет нашему сигналу ошибки (входу) распространяться в обратном направлении по сети. Этот расчет ошибки используется для нейронов в выходном слое. Ожидаемое значение – это само значение класса. В скрытом слое все немного сложнее.
Сигнал ошибки для нейрона в скрытом слое рассчитывается как взвешенная ошибка каждого нейрона в выходном слое. Подумайте об ошибке, связанной с перемещением весов выходного слоя к нейронам в скрытом слое. Где error j – это сигнал ошибки от j-го нейрона в выходном слое, weight k – это вес, который соединяет k-й нейрон с текущим нейроном, а output – это выход для текущего нейрона.
Вы можете видеть, что сигнал ошибки, рассчитанный для каждого нейрона, сохраняется с именем «delta». Вы можете видеть, что слои сети перебираются в обратном порядке, начиная с выхода и работая в обратном направлении. Это гарантирует, что нейроны в выходном слое имеют значения «дельта», рассчитанные в первую очередь, которые нейроны в скрытом слое могут использовать в последующей итерации. Я выбрал имя «дельта», чтобы отразить изменение, которое ошибка вносит в нейрон (например, дельта веса). Вы можете видеть, что сигнал об ошибке для нейронов в скрытом слое накапливается из нейронов в выходном слое, где находится номер скрытого нейрона. j также является индексом веса нейрона в нейроне выходного слоя [‘weights’]. Это включает в себя многократные итерации экспонирования обучающего набора данных в сеть и для каждой строки данных, перенаправления входных данных, обратного распространения ошибки и обновления сети. веса.
Есть несколько разных циклов, вокруг которых вращается Земля. Некоторые из циклов были затронуты катастрофой Фукусима-Дайхатсу. Завод в Фукусиме пострадал от землетрясения силой 9,0 балла. Растения,
Трение – это сила, которая приводит к предотвращению движения объекта. Трение повсюду, когда один объект вступает в контакт с другим, возникает трение. Сила действует в
Тиристор – это тип диода, который позволяет току течь тогда и только тогда, когда на его клемму затвора подается управляющее напряжение. Этот вид диода имеет