Что является производной функции активации ReLU?


15

Что является производной функции активации ReLU, определенной как:

ReLU(x)=max(0,x)

А как насчет частного случая, когда в функции при есть разрыв ?x=0

Ответы:


17

Производная это:

f(x)={0if x<01if x>0

И не определено в .x=0

Причина, по которой он не определен при состоит в том, что его левая и правая производные не равны.x=0


1
01x=0

2
Соглашение состоит в том, что drdx = 1 (x> 0)
neuroguy123

f(0)=12

3
@TomHale, кстати, см. Ответ Нуроса Рахмана на quora.com/… : «[...] На мой взгляд, во встроенных библиотечных функциях (например tf.nn.relu()
Джим
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.