Что означает активация нейрона в нейронной сети?

Я просто наткнулся на концепцию покрытия нейронов, которая представляет собой соотношение активированных нейронов и общего количества нейронов в нейронной сети. Но что значит для нейрона быть «активированным»? Я знаю, что такое функции активации, но что означает активация, например, в случае ReLU или сигмовидной функции?

Нейрон считается активированным, когда его выход превышает пороговое значение, обычно 0.

Например: когда a = w T x + b >

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

То же самое касается сигмоида или других функций активации.

Термин «активированный» в основном используется, когда речь идет о функциях активации, которые выводят значение (кроме 0), только когда входной сигнал для функции активации превышает определенный порог.

Особенно при обсуждении ReLU может использоваться термин «активированный». ReLU будет «активирован», когда его выход больше 0, а также когда он больше 0.

Другие функции активации, такие как sigmoid, всегда возвращают значение больше 0 и не имеют никакого специального порога. Поэтому термин «активированный» здесь имеет меньшее значение.

Несмотря на то, что мы мало знаем о них, нейроны в мозге, похоже, также имеют нечто, напоминающее функцию активации с неким «порогом активации».