Вопросы с тегом «activation-function»

Я выбираю функцию активации для выходного слоя в зависимости от того, какой вывод мне нужен, и от свойств функции активации, которые я знаю. Например, я выбираю сигмовидную функцию, когда я имею дело с вероятностями, ReLU, когда я имею дело с положительными значениями, и линейную функцию, когда я имею дело с …

13 neural-networks  machine-learning  math  activation-function 

Существует несколько функций активации, таких как ReLU, сигмоид или TANHTANH\tanh . Что происходит, когда я смешиваю функции активации? Недавно я обнаружил, что Google разработал функцию активации Swish (x * sigmoid). Изменяя функцию активации, может ли она повысить точность при небольших проблемах нейронной сети, таких как проблема XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Я просто наткнулся на концепцию покрытия нейронов, которая представляет собой соотношение активированных нейронов и общего количества нейронов в нейронной сети. Но что значит для нейрона быть «активированным»? Я знаю, что такое функции активации, но что означает активация, например, в случае ReLU или сигмовидной функции?

10 neural-networks  ai-basics  concepts  activation-function 

Я думаю, что преимущество использования Leaky ReLU вместо ReLU состоит в том, что таким образом у нас не может быть исчезающего градиента. Параметрический ReLU имеет то же преимущество, с той лишь разницей, что наклон вывода для отрицательных входов является обучаемым параметром, в то время как в Leaky ReLU это гиперпараметр. …

10 neural-networks  activation-function  relu