Существуют ли какие-либо справочные документы, в которых содержится полный список функций активации в нейронных сетях вместе с их плюсами / минусами (и в идеале некоторые ссылки на публикации, где они были успешными или не очень успешными)?

Я начну составлять список тех, кого я выучил до сих пор. Как сказал @marcodena, плюсы и минусы сложнее, потому что в основном это просто эвристика, извлеченная из этих вещей, но я думаю, что, по крайней мере, у меня есть список того, чем они не могут навредить.

Во-первых, я определю нотацию явно, чтобы не было путаницы:

нотация

Это обозначение из книги Нильсена .

Нейронная сеть с прямой связью - это множество слоев нейронов, соединенных вместе. Он принимает входные данные, затем этот вход «просачивается» через сеть, и нейронная сеть возвращает выходной вектор.

Более формально, вызов активации ( так называемым выходом) из нейрона в слое, где является элементом входного вектора. j t h i t h a 1 j j t $a^i_j$$j^{th}$$i^{th}$$a^1_j$$j^{th}$

Затем мы можем связать вход следующего слоя с его предыдущим с помощью следующего отношения:

$$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$$

где

• $\sigma$ - это функция активации,
• k t h ( i - 1 ) t h j t h i t $w^i_{jk}$ - это вес от нейрона в слое до нейрона в слое,$k^{th}$$(i-1)^{th}$$j^{th}$$i^{th}$
• J т ч я т $b^i_j$ - это смещение нейрона в слое, и$j^{th}$$i^{th}$
• J т ч я т $a^i_j$ представляет значение активации нейрона в слое.$j^{th}$$i^{th}$

Иногда мы пишем чтобы представить , другими словами, значение активации нейрона перед применением функции активации , ∑ k ( w i j k ⋅ a i - 1 k ) + b i $z^i_j$$\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

Для более кратких обозначений мы можем написать

$$a^i = \sigma(w^i \times a^{i-1} + b^i)$$

Чтобы использовать эту формулу для вычисления вывода сети прямой связи для некоторого ввода , установите , а затем вычислите , где - количество слоев.a 1 = I a 2 , a 3 , … , a m$I \in \mathbb{R}^n$$a^1 = I$$a^2, a^3, \ldots, a^m$$m$

Функции активации

(в дальнейшем мы будем писать вместо для удобства чтения)e $\exp(x)$$e^x$

тождественность

Также известен как линейная функция активации.

$$a^i_j = \sigma(z^i_j) = z^i_j$$

шаг

$$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$$

Кусочно-линейный

Выберите некоторые и , что является нашим «диапазоном». Все, что меньше этого диапазона, будет 0, а все, что больше этого диапазона, будет 1. Все остальное линейно интерполируется между. Формально:$x_{\min}$$x_{\max}$

$$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$$

где

$$m = \frac{1}{x_{\max}-x_{\min}}$$

а также

$$b = -m x_{\min} = 1 - m x_{\max}$$

сигмоид

$$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$$

Дополнительный лог-лог

$$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$$

биполярный

$$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$$

Биполярный сигмоид

$$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$$

Tanh

$$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$$

LeCun's Tanh

Смотрите Эффективный Backprop .

$$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$$

Чешуйчатый:

Hard Tanh

$$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$$

абсолют

$$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$$

выпрямитель

Также известен как выпрямленная линейная единица (ReLU), Макс или функция линейного изменения .

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$$

Модификации ReLU

Это некоторые функции активации, с которыми я играл, которые, по загадочным причинам, имеют очень хорошую производительность для MNIST.

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$$

Чешуйчатый:

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$$

Чешуйчатый:

Гладкий выпрямитель

Также известен как Smooth Recified Linear Unit, Smooth Max или Soft plus

$$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$$

Logit

$$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$$

Чешуйчатый:

единица вероятности

$$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$$ .

Где - это функция ошибок . Это не может быть описано с помощью элементарных функций, но вы можете найти способы аппроксимации обратного на этой странице Википедии и здесь .$\text{erf}$

Альтернативно, это может быть выражено как

$$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$$ .

Где - функция накопительного распределения (CDF). Смотрите здесь для способов приближения этого.$\phi$

Чешуйчатый:

Косинус

Смотрите Случайные Кухонные Раковины .

$$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$$ .

Софтмакс

Также известный как нормализованная экспонента.

$$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$$

Это немного странно, потому что выход одного нейрона зависит от других нейронов в этом слое. Это также становится трудным для вычисления, поскольку может быть очень высоким значением, и в этом случае , вероятно, будет переполнен. Аналогично, если - очень низкое значение, оно опустится и станет .$z^i_j$$\exp(z^i_j)$$z^i_j$$0$

Чтобы бороться с этим, вместо этого мы будем вычислять . Это дает нам:$\log(a^i_j)$

$$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$$

$$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$$

Здесь нам нужно использовать трюк log-sum-exp :

Допустим, мы вычисляем:

$$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$$

Для удобства мы сначала отсортируем наши экспоненты по величине:

$$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$$

Тогда, поскольку является нашим самым высоким, мы умножаем на :$e^{11}$$\frac{e^{-11}}{e^{-11}}$

$$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$$

$$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$$

$$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$$

$$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$$

$$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$$

Затем мы можем вычислить выражение справа и взять его журнал. Это нормально, потому что эта сумма очень мала по отношению к , поэтому любое снижение значения до 0 не было бы достаточно значительным, чтобы все равно что-то изменить. Переполнение не может произойти в выражении справа, потому что мы гарантируем, что после умножения на все степени будут .$\log(e^{11})$$e^{-11}$$\leq 0$

Формально мы называем . Затем:$m=\max(z^i_1, z^i_2, z^i_3, ...)$

$$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$$

Наша функция softmax становится:

$$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$$

Также в качестве идентификатора производная функции softmax имеет вид:

$$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$$

Использовать полностью

Этот тоже немного хитрый. По сути, идея заключается в том, что мы разбиваем каждый нейрон в нашем слое maxout на множество субнейронов, каждый из которых имеет свои веса и смещения. Затем входные данные для нейрона поступают вместо каждого из его субнейронов, и каждый субнейрон просто выводит свои (без применения какой-либо функции активации). Тогда этого нейрона является максимумом всех выходов его субнейрона.$z$$a^i_j$

Формально, в одном нейроне, скажем, у нас есть субнейронов. затем$n$

$$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$$

где

$$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$$

( является точечным произведением )$\bullet$

Чтобы помочь нам подумать об этом, рассмотрим матрицу весов для слоя нейронной сети, которая использует, скажем, функцию активации сигмоида. является 2D матрицей, где каждый столбец является вектором для нейрона содержащим вес для каждого нейрона в предыдущем слое .$W^i$$i^{\text{th}}$$W^i$$W^i_j$$j$$i-1$

Если у нас будут субнейроны, нам понадобится двумерная весовая матрица для каждого нейрона, поскольку каждому субнейрону понадобится вектор, содержащий вес для каждого нейрона в предыдущем слое. Это означает, что теперь является трехмерной весовой матрицей, где каждый является двумерной весовой матрицей для одного нейрона . И тогда - это вектор для субнейрона в нейроне который содержит вес для каждого нейрона в предыдущем слое .$W^i$$W^i_j$$j$$W^i_{jk}$$k$$j$$i-1$

Аналогично, в нейронной сети, которая снова использует, скажем, сигмовидную функцию активации, является вектором со смещением для каждого нейрона в слое .$b^i$$b^i_j$$j$$i$

Чтобы сделать это с субнейронами, нам нужна двумерная матрица смещения для каждого слоя , где - вектор со смещением для каждого субнейрона в нейрон.$b^i$$i$$b^i_j$$b^i_{jk}$$k$$j^{\text{th}}$

Имея весовую матрицу и вектор смещения для каждого нейрона, становится очень понятным вышеприведенное выражение, оно просто применяет веса каждого субнейрона к выходам из слой , затем применяя их смещения и беря их максимум.$w^i_j$$b^i_j$$w^i_{jk}$$a^{i-1}$$i-1$$b^i_{jk}$

Радиальные базисные функциональные сети

Радиальные базовые функциональные сети являются модификацией нейронных сетей с прямой связью, где вместо использования

$$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$$

у нас есть один вес на узел в предыдущем слое (как обычно), а также один средний вектор и один вектор стандартного отклонения для каждого узла в предыдущий слой. k μ i j k σ i j $w^i_{jk}$$k$$\mu^i_{jk}$$\sigma^i_{jk}$

Затем мы вызываем нашу функцию активации чтобы не путать ее с векторами стандартного отклонения . Теперь, чтобы вычислить нам сначала нужно вычислить один для каждого узла в предыдущем слое. Одним из вариантов является использование евклидова расстояния:σ i j k a i j z i j $\rho$$\sigma^i_{jk}$$a^i_j$$z^i_{jk}$

$$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$$

Где - это элемент . Этот не использует . В качестве альтернативы есть расстояние Махаланобиса, которое предположительно работает лучше:$\mu^i_{jk\ell}$$\ell^\text{th}$$\mu^i_{jk}$$\sigma^i_{jk}$

$$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$$

где - ковариационная матрица , определяемая как:$\Sigma^i_{jk}$

$$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$$

Другими словами, - это диагональная матрица с качестве ее диагональных элементов. Мы определяем и как векторы столбцов, потому что это обозначение, которое обычно используется.$\Sigma^i_{jk}$$\sigma^i_{jk}$$a^{i-1}$$\mu^i_{jk}$

Они на самом деле просто говорят, что расстояние Махаланобиса определяется как

$$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$$

Где - это элемент . Обратите внимание, что всегда должен быть положительным, но это типичное требование для стандартного отклонения, так что это не так уж удивительно.$\sigma^i_{jk\ell}$$\ell^\text{th}$$\sigma^i_{jk}$$\sigma^i_{jk\ell}$

При желании расстояние Махаланобиса является достаточно общим, чтобы ковариационная матрица могла быть определена как другие матрицы. Например, если ковариационная матрица является единичной матрицей, наше расстояние Махаланобиса уменьшается до евклидова расстояния. довольно распространен и известен как нормализованное евклидово расстояние .$\Sigma^i_{jk}$$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

В любом случае, когда наша функция расстояния выбрана, мы можем вычислить через$a^i_j$

$$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$$

В этих сетях они выбирают умножение на вес после применения функции активации по причинам.

Здесь описывается, как создать многослойную сеть с радиальной базисной функцией, однако обычно существует только один из этих нейронов, и его выход является выходом сети. Он нарисован как несколько нейронов, потому что каждый средний вектор и каждый вектор стандартного отклонения этого одиночного нейрона считается одним "нейроном", а затем после всех этих выходов появляется другой слой это берет сумму тех вычисленных значений, умноженных на веса, точно так же как выше. Разделение его на два слоя с «суммирующим» вектором в конце кажется мне странным, но это то, что они делают.$\mu^i_{jk}$$\sigma^i_{jk}$$a^i_j$

Также смотрите здесь .

Функция радиальной основы Функции активации сети

Gaussian

$$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$$

Multiquadratic

Выберите точку . Затем мы вычисляем расстояние от до :$(x, y)$$(z^i_j, 0)$$(x, y)$

$$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$$

Это из Википедии . Он не ограничен и может иметь любое положительное значение, хотя мне интересно, есть ли способ его нормализовать.

Когда , это эквивалентно абсолютному (с горизонтальным смещением ).$y=0$$x$

Обратное мультиквадратичное

То же, что квадратичный, за исключением перевернутого:

$$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$$

* Графика из графиков intmath с использованием SVG .

Один такой список, хотя и не очень исчерпывающий: http://cs231n.github.io/neural-networks-1/

Обычно используемые функции активации

Каждая функция активации (или нелинейность ) принимает одно число и выполняет с ним определенную фиксированную математическую операцию. Есть несколько функций активации, с которыми вы можете столкнуться на практике:

Слева: нелинейность сигмоида сжимает действительные числа в диапазоне между [0,1] Справа: нелинейность Танга сжимает действительные числа в диапазоне между [-1,1].

Сигмовидной. Нелинейность сигмоида имеет математическую форму и показана на рисунке выше слева. Как упоминалось в предыдущем разделе, он принимает действительное число и «сдавливает» его в диапазоне от 0 до 1. В частности, большие отрицательные числа становятся 0, а большие положительные числа становятся 1. Исторически сиггоидная функция часто использовалась поскольку он имеет хорошую интерпретацию как скорость стрельбы нейрона: от полного отсутствия (0) до полностью насыщенного срабатывания на предполагаемой максимальной частоте (1). На практике нелинейность сигмовидной формы в последнее время утратила популярность и редко используется. У него есть два основных недостатка:$\sigma(x) = 1 / (1 + e^{-x})$

• Сигмоиды насыщают и убивают градиенты . Очень нежелательное свойство сигмовидного нейрона заключается в том, что, когда активация нейрона насыщается в хвосте 0 или 1, градиент в этих областях почти равен нулю. Напомним, что во время обратного распространения этот (локальный) градиент будет умножен на градиент выходных данных этих ворот для всей цели. Поэтому, если локальный градиент очень мал, он будет эффективно «убивать» градиент, и почти никакой сигнал не будет проходить через нейрон до его весов и рекурсивно к его данным. Кроме того, нужно соблюдать особую осторожность при инициализации веса сигмовидных нейронов, чтобы предотвратить насыщение. Например, если начальные веса слишком велики, то большинство нейронов станет насыщенным, и сеть едва научится.
• Сигмоидальные выходы не центрированы по нулю . Это нежелательно, поскольку нейроны на более поздних уровнях обработки в нейронной сети (подробнее об этом в ближайшее время) будут получать данные, которые не центрированы по нулю. Это влияет на динамику во время градиентного спуска, потому что, если данные, поступающие в нейрон, всегда положительны (например, поэлементно в )), то градиент весов при обратном распространении станет либо все быть положительными или отрицательными (в зависимости от градиента всего выражения $x > 0$$f = w^Tx + b$$w$$f$). Это может привести к нежелательной зигзагообразной динамике в градиентных обновлениях для весов. Однако обратите внимание, что после добавления этих градиентов в пакет данных окончательное обновление весов может иметь переменные знаки, что несколько смягчает эту проблему. Следовательно, это неудобство, но оно имеет менее серьезные последствия по сравнению с вышеуказанной проблемой насыщенной активации.

Тань. Нелинейность tanh показана на изображении справа вверху. Он сдавливает вещественное число в диапазон [-1, 1]. Как и сигмовидный нейрон, его активации насыщаются, но в отличие от сигмовидного нейрона его выход центрирован на ноль. Следовательно, на практике нелинейная сила всегда предпочтительнее сигмовидной нелинейности. Также обратите внимание, что tanh нейрон - это просто масштабированный сигмовидный нейрон, в частности, имеет место следующее: .$\tanh(x) = 2 \sigma(2x) -1$

Слева: функция активации выпрямленной линейной единицы (ReLU), которая равна нулю при x <0 и затем линейна с наклоном 1 при x> 0. Справа: график из Крижевского и соавт. (pdf) документ, показывающий 6-кратное улучшение сходимости с единицей ReLU по сравнению с единицей tanh.

РЕЛУ. Выпрямленная линейная единица стала очень популярной в последние несколько лет. Вычисляет функцию . Другими словами, активация просто пороговая в нуле (см. Изображение выше слева). Есть несколько плюсов и минусов использования ReLU:$f(x) = \max(0, x)$

• (+) Было обнаружено, что он значительно ускоряет (например, в 6 раз у Крижевского и др. ) Сходимость стохастического градиентного спуска по сравнению с сигмоидальной / танховой функциями. Утверждается, что это связано с его линейной ненасыщенной формой.
• (+) По сравнению с коричневыми / сигмовидными нейронами, которые требуют дорогостоящих операций (экспоненты и т. Д.), ReLU может быть реализован простым установлением порога матрицы активаций в нуле.
• (-) К сожалению, юниты ReLU могут быть хрупкими во время тренировок и могут «умереть». Например, большой градиент, протекающий через нейрон ReLU, может привести к тому, что веса обновятся таким образом, что нейрон никогда больше не активируется ни на одном из точек данных. Если это произойдет, то градиент, текущий через единицу, будет всегда нулевым с этой точки. То есть блоки ReLU могут необратимо умереть во время обучения, поскольку они могут быть сбиты с коллектора данных. Например, вы можете обнаружить, что до 40% вашей сети могут быть «мертвыми» (т.е. нейроны, которые никогда не активируются по всему набору обучающих данных), если скорость обучения установлена ​​слишком высокой. При правильной настройке скорости обучения это не так часто.

Leaky ReLU. Leaky ReLUs - это одна из попыток решить проблему «умирающего ReLU». Вместо того, чтобы функция была нулевой, когда x <0, ReLU с утечкой будет иметь небольшой отрицательный наклон (0,01 или около того). То есть функция вычисляет где - небольшая постоянная. Некоторые люди сообщают об успехе с помощью этой формы функции активации, но результаты не всегда согласуются. Наклон в отрицательной области также может быть превращен в параметр каждого нейрона, как видно из нейронов PReLU, представленных в « Погружении глубоко в выпрямители» , Kaiming He et al., 2015. Тем не менее, в настоящее время согласованность выгод по задачам не понятно.$f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$$\alpha$

Maxout . Были предложены другие типы единиц, которые не имеют функциональной формы где к точечному произведению применяется нелинейность между весами и данными. Одним из относительно популярных вариантов является нейрон Maxout (недавно представленный Goodfellow et al. ), Который обобщает ReLU и его утечку. Нейрон Maxout вычисляет функцию . Обратите внимание, что как ReLU, так и Leaky ReLU являются частным случаем этой формы (например, для ReLU мы имеем$f(w^Tx + b)$$\max(w_1^Tx+b_1, w_2^Tx + b_2)$$w_1, b_1 = 0$). Поэтому нейрон Maxout обладает всеми преимуществами блока ReLU (линейный режим работы, без насыщения) и не имеет своих недостатков (умирающий ReLU). Однако, в отличие от нейронов ReLU, он удваивает количество параметров для каждого отдельного нейрона, что приводит к большому общему количеству параметров.

На этом мы завершаем обсуждение наиболее распространенных типов нейронов и их активационных функций. В качестве последнего комментария очень редко можно смешивать и совмещать нейроны разных типов в одной сети, хотя в этом нет принципиальной проблемы.

TLDR : « Какой тип нейронов мне следует использовать? » Используйте нелинейность ReLU, будьте осторожны с вашей скоростью обучения и, возможно, следите за долей «мертвых» единиц в сети. Если это касается вас, попробуйте Leaky ReLU или Maxout. Никогда не используйте сигмовидную кишку. Попробуйте tanh, но ожидайте, что он будет работать хуже, чем ReLU / Maxout.

---

Лицензия:


Лицензия MIT (MIT)

Copyright (c) 2015 Андрей Карпати

Настоящим предоставляется бесплатное разрешение любому лицу, получающему копию этого программного обеспечения и связанных с ним файлов документации (далее - «Программное обеспечение»), осуществлять операции с Программным обеспечением без ограничений, включая, помимо прочего, права на использование, копирование, изменение, слияние. публиковать, распространять, сублицензировать и / или продавать копии Программного обеспечения, а также разрешать лицам, которым предоставляется Программное обеспечение, делать это при соблюдении следующих условий:

Вышеуказанное уведомление об авторских правах и это уведомление о разрешении должны быть включены во все копии или существенные части Программного обеспечения.

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЯ ГАРАНТИИ ТОВАРНОГО ОБЕСПЕЧЕНИЯ, ПРИГОДНОСТИ ДЛЯ ОСОБЫХ ЦЕЛЕЙ И НЕЗАКРЕПЛЕНИЙ. Ни при каких обстоятельствах авторы или держатели авторских прав не несут ответственности за любые претензии, ущерб или другую ответственность, возникающие в результате действия контракта, деликтного или иного действия, возникающие в результате, в результате или в связи с программным обеспечением или использованием в других отношениях. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ.*

Другие ссылки:

• функция активации tanh против функции активации сигмоида

Я не думаю, что список с плюсами и минусами существует. Функции активации сильно зависят от приложения и зависят также от архитектуры вашей нейронной сети ( здесь, например, вы видите применение двух функций softmax, которые аналогичны сигмоидальной).

Вы можете найти некоторые исследования об общем поведении функций, но я думаю, что у вас никогда не будет определенного и окончательного списка (что вы спрашиваете ...).

Я еще студент, поэтому я указываю то, что я знаю до сих пор:

• здесь вы найдете некоторые мысли о поведении tanh и сигмоидов с обратным распространением. Tanh более общие, но сигмоиды ... (всегда будет "но")
• В « Глубоких разреженных нейронных сетях выпрямителя» Глота Ксавьера и др. Они утверждают, что выпрямительные единицы более вероятны с биологической точки зрения и работают лучше, чем другие (сигмоид / танх)

Просто для полноты картины на большом ответ Даниэля, есть и другие парадигмы, где один случайно «раскручивает колесо» на весах и / или типа активаций: жидкое состояния машины , экстремальных учебных машин и эха государственных сетей .

Один из способов подумать об этих архитектурах: резервуар - это своего рода ядро, как в SVM, или один большой скрытый слой в простой FFNN, где данные проецируются в некоторое гиперпространство. Фактического обучения нет, резервуар перерабатывается до тех пор, пока не будет найдено удовлетворительное решение.

Также посмотрите этот хороший ответ .

Статью с обзором последних функций активации можно найти в

« Функции активации: сравнение тенденций в практике и исследованиях для глубокого обучения » Чигози Эньинны Нванкпа, Винифреда Иджомы, Энтони Гачагана и Стивена Маршалла

Глубокие нейронные сети успешно используются в разнообразных новых областях для решения сложных задач реального мира с использованием архитектуры более глубокого обучения (DL), разрабатываемой до настоящего времени. Для достижения этих современных характеристик архитектуры DL используют функции активации (AF) для выполнения различных вычислений между скрытыми уровнями и выходными уровнями любой данной архитектуры DL. В этой статье представлен обзор существующих AF, используемых в приложениях для глубокого обучения, и освещены последние тенденции использования функций активации для приложений для глубокого обучения. Новизна этого документа заключается в том, что в нем собрана большая часть AF, используемых в DL, и в общих чертах изложены текущие тенденции в приложениях и использовании этих функций в практических развертываниях глубокого обучения на основе самых современных результатов исследований. Эта компиляция поможет в принятии эффективных решений по выбору наиболее подходящей и подходящей функции активации для любого конкретного приложения, готового к развертыванию. Этот документ является своевременным, потому что большинство исследовательских работ по AF выделяют похожие работы и результаты, в то время как этот документ будет первым, в котором будут собраны тенденции применения AF на практике с результатами исследований из литературы, обнаруженными в исследованиях глубокого обучения на сегодняшний день.