Вопросы с тегом «activation-function»

Функции активации используются для введения нелинейностей в линейный вывод типа w * x + bв нейронной сети. Что я могу понять интуитивно для функций активации, таких как сигмоидальные. Я понимаю преимущества ReLU, который избегает мертвых нейронов во время обратного распространения. Однако я не могу понять, почему ReLU используется в качестве …

19 machine-learning  neural-network  deep-learning  activation-function 

Я просматривал статью BERT, в которой используется GELU (линейная единица гауссовой ошибки), в которой уравнение имеет вид что, в свою очередь, приближается кGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Не могли бы вы упростить уравнение и объяснить, как оно было аппроксимировано.

18 activation-function  bert  mathematics 

Здесь ответ относится к исчезающему и взрывному градиенту, который был sigmoidпохож на функции активации, но, я думаю, Reluимеет недостаток, и это его ожидаемое значение. нет ограничений на вывод Reluи поэтому его ожидаемое значение не равно нулю. Я помню время , прежде чем популярность , Reluчто tanhбыл самым популярным среди машинного …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Я изучил типы функций активации для нейронных сетей. Сами функции довольно просты, но различие в применении не совсем понятно. Разумно различать логические и линейные функции, в зависимости от желаемого двоичного / непрерывного вывода, но в чем преимущество сигмоидальной функции перед простой линейной? Например, ReLU особенно трудно понять для меня: какой …

15 neural-network  activation-function