Может кто-нибудь объяснить, пожалуйста, алгоритм обратного распространения? [Дубликат]

13

Что такое алгоритм обратного распространения и как он работает?

algorithms optimization neural-networks

— Ami
источник

1

Я собрал ответ на этот вопрос здесь, если кому-то интересно (я не хотел делать репост).

— Филлида

14

Алгоритм обратного распространения представляет собой алгоритм градиентного спуска для подгонки модели нейронной сети. (как упомянуто @Dikran) Позвольте мне объяснить, как.

Формально: Использование вычисления градиента в конце этого поста в уравнении [1] ниже (то есть определение градиентного спуска) дает алгоритм обратного распространения как частный случай использования градиентного спуска.

Модель нейронной сети Формально мы фиксируем идеи с помощью простой однослойной модели:

где и известны при всех , и

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

,

- неизвестные аффинные функции. Функция

называется функцией активации в рамках классификации.

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Квадратичная функция потерь используется для фиксации идей. Следовательно , вход векторы может быть установлен на реальный объем производства из (может быть векторами) путем минимизации эмпирической потери: $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$ относительно выбора и .

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

$\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$ $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

$x[a:b]$ $x$ $a$ $b$

— Робин Жирар
источник

11

Обратное распространение - это способ получения производной функции ошибки по весам, так что модель можно обучить с помощью методов оптимизации градиентного спуска - это в основном просто применение «правила цепочки». В этом нет ничего особенного, так что, если вам не безразлично исчисление, это, по сути, лучший способ взглянуть на это.

Если вы не знакомы с исчислением, лучше сказать, что мы знаем, как плохо работают единицы вывода, потому что у нас есть желаемый результат, с которым можно сравнивать фактический результат. Однако у нас нет желаемого выхода для скрытых юнитов, так что же нам делать? Правило обратного распространения - это, в основном, способ объяснить вину за ошибку выходных единиц на скрытых единицах. Чем больше влияние скрытый блок оказывает на конкретный выходной блок, тем больше вины за ошибку. Общее обвинение, связанное со скрытым модулем, затем дает представление о том, насколько нужно изменить веса входного / скрытого слоя. Две вещи, которые управляют тем, сколько ответственности передается обратно, - это вес, соединяющий вес скрытого и выходного слоев (очевидно) и выход скрытого юнита (если он кричит, а не шепчет, он, вероятно, окажет большее влияние). Все остальное - математические тонкости, которые превращают эту интуицию в производную от критерия обучения.

Я также рекомендую книгу епископов для правильного ответа! ; О)

— Дикран Сумчатый
источник

2

Это алгоритм обучения прямой связи многослойных нейронных сетей (многослойных персептронов). В Интернете есть несколько хороших java-апплетов, иллюстрирующих происходящее, например: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . Кроме того, книга Бишопа о NN является стандартным настольным справочником для всего, что связано с NN.

— Стивен Тернер
источник

Пытаясь создать постоянное хранилище высококачественной статистической информации в форме вопросов и ответов, мы стараемся избегать ответов только по ссылкам . Если вы можете, не могли бы вы расширить это, возможно, предоставив краткое изложение информации по ссылке?

— Glen_b