Вопросы с тегом «relu»

Существует несколько функций активации, таких как ReLU, сигмоид или TANHTANH\tanh . Что происходит, когда я смешиваю функции активации? Недавно я обнаружил, что Google разработал функцию активации Swish (x * sigmoid). Изменяя функцию активации, может ли она повысить точность при небольших проблемах нейронной сети, таких как проблема XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Я думаю, что преимущество использования Leaky ReLU вместо ReLU состоит в том, что таким образом у нас не может быть исчезающего градиента. Параметрический ReLU имеет то же преимущество, с той лишь разницей, что наклон вывода для отрицательных входов является обучаемым параметром, в то время как в Leaky ReLU это гиперпараметр. …

10 neural-networks  activation-function  relu