Вопросы с тегом «sigmoid»

Существует несколько функций активации, таких как ReLU, сигмоид или TANHTANH\tanh . Что происходит, когда я смешиваю функции активации? Недавно я обнаружил, что Google разработал функцию активации Swish (x * sigmoid). Изменяя функцию активации, может ли она повысить точность при небольших проблемах нейронной сети, таких как проблема XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid