Керас, однако, выполняет обе функции в документах .
Leaky ReLU
return K.relu(inputs, alpha=self.alpha)
Следовательно (см. Код relu )
PReLU
def call(self, inputs, mask=None):
pos = K.relu(inputs)
if K.backend() == 'theano':
neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
(inputs - K.abs(inputs)) * 0.5)
else:
neg = -self.alpha * K.relu(-inputs)
return pos + neg
Следовательно,
Вопрос
Я что-то не так понял? Разве и эквивалентны (при условии ?)f 2 f α ∈ ( 0 , 1 )