15 Что является производной функции активации ReLU, определенной как: R e L U ( x ) = m a x ( 0 , x )ReLU(x)=max(0,x) А как насчет частного случая, когда в функции при есть разрыв ?х = 0x=0 self-study neural-networks — Том Хейл источник
17 Производная это: е( х ) = { 01если х < 0если х > 0f(x)={0if x<01if x>0 И не определено в .х = 0x=0 Причина, по которой он не определен при состоит в том, что его левая и правая производные не равны.х = 0x=0 — Джим источник 1 0011х = 0x=0 2 Соглашение состоит в том, что drdx = 1 (x> 0) — neuroguy123 f(0)=12f(0)=12 3 @TomHale, кстати, см. Ответ Нуроса Рахмана на quora.com/… : «[...] На мой взгляд, во встроенных библиотечных функциях (например tf.nn.relu() — Джим