Что такое «бэкпроп»?

Что значит "backprop"? Является ли термин «backprop» в основном тем же самым, что и «backpropagation», или он имеет другое значение?

«Backprop» - это то же самое, что и «backpropagation»: это просто более короткий способ сказать это. Это иногда сокращается как "BP".

«Backprop» - это сокращение от «обратное распространение ошибки» во избежание путаницы при использовании термина обратного распространения .

По существу обратное распространение относится к способу вычисления градиента функции ошибок по случаю относительно весов для сети ^Werbos с прямой ^связью . И backprop относится к методу обучения, который использует обратное распространение для вычисления градиента.

Таким образом, мы можем сказать, что сеть backprop - это сеть прямой связи, обученная backpropagation .

Термин «стандартный backprop» является эвфемизмом для обобщенного правила дельты, которое является наиболее широко используемым методом контролируемого обучения.

Источник: Что такое бэкпроп? в FAQ группы новостей Usenet comp.ai.neural-сети

Ссылки:

• Werbos, PJ (1974). За пределами регрессии: новые инструменты прогнозирования и анализа в поведенческих науках. Докторская диссертация, Гарвардский университет.
• Werbos, PJ (1994). Корни обратного распространения: от упорядоченных производных к нейронным сетям и политическому прогнозированию, Wiley Interscience.
• Берцекас, Д.П. (1995), нелинейное программирование, Белмонт, Массачусетс: Athena Scientific, ISBN 1-886529-14-0.
• Берцекас, Д.П. и Цициклис, JN (1996), Нейродинамическое программирование, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Поляк Б.Т. (1964). Некоторые методы ускорения сходимости итерационных методов. З. Вычисл. Мат. я в. Физ., 4, 1-17.
• Поляк, BT (1987), Введение в оптимизацию, Нью-Йорк: Программное обеспечение для оптимизации, Inc.
• Рид, Р.Д. и Маркс, Р.Дж., II (1999), Нейронное кузнечное дело: контролируемое обучение в искусственных нейронных сетях с прямой связью, Кембридж, Массачусетс: MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE, and Williams, RJ (1986), "Изучение внутренних представлений путем распространения ошибок", в Rumelhart, DE и McClelland, JL, eds. (1986), Параллельная распределенная обработка: исследования микроструктуры познания, том 1, 318-362, Кембридж, Массачусетс: MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Включает Гарвардского доктора философии Вербоса 1974 года. тезис "За пределами регрессии".

Да, как правильно сказал Франк, «backprop» означает обратное распространение, которое часто используется в области нейронных сетей для оптимизации ошибок.

Для подробного объяснения я хотел бы указать это руководство по концепции обратного распространения очень хорошей книги Майкла Нильсена.

В машинном обучении обратное распространение (backprop, BP) является широко используемым алгоритмом при обучении нейронных сетей прямой связи для контролируемого обучения. Обобщения обратного распространения существуют для других искусственных нейронных сетей (ANN), а для функций в целом - класса алгоритмов, обычно называемых «обратным распространением».

Это причудливое название для правила многомерной цепочки.