Почему де-факто стандартная сигмоидальная функция так популярна в (не глубоких) нейронных сетях и логистической регрессии?$\frac{1}{1+e^{-x}}$

Почему бы нам не использовать многие из других производных функций с более быстрым временем вычисления или более медленным затуханием (так что исчезающий градиент происходит меньше). Немного примеров в Википедии о сигмоидальных функциях . Один из моих любимых вариантов с медленным затуханием и быстрым вычислением - это .$\frac{x}{1+|x|}$

РЕДАКТИРОВАТЬ

Вопрос отличается от Всестороннего списка функций активации в нейронных сетях с плюсами / минусами, так как меня интересует только «почему» и только для сигмоида.

Цитирую себя из этого ответа на другой вопрос:

В разделе 4.2 « Распознавания образов и машинного обучения» (Springer 2006) Бишоп показывает, что логит возникает естественным образом как форма апостериорного распределения вероятностей в байесовской трактовке двухклассовой классификации. Затем он продолжает показывать, что то же самое справедливо для дискретно распределенных функций, а также для подмножества семейств экспоненциальных распределений. Для мультиклассовой классификации логит обобщается до нормализованной экспоненциальной или софтмакс-функции.

Это объясняет, почему этот сигмоид используется в логистической регрессии.

Что касается нейронных сетей, этот пост в блоге объясняет, как различные нелинейности, в том числе logit / softmax и пробит, используемые в нейронных сетях, могут получить статистическую интерпретацию и, следовательно, мотивацию. Основная идея заключается в том, что многослойная нейронная сеть может рассматриваться как иерархия обобщенных линейных моделей; в соответствии с этим функции активации являются функциями связи, которые, в свою очередь, соответствуют различным предположениям о распределении.

Одна из причин, по которой эта функция может показаться более «естественной», чем другие, заключается в том, что она оказывается обратной к каноническому параметру распределения Бернулли: (функция в показателе степени называется каноническим параметром.)

Возможно, более убедительное обоснование приходит из теории информации, где сигмовидная функция может быть выведена как модель максимальной энтропии . Грубо говоря, сигмовидная функция предполагает минимальную структуру и отражает наше общее состояние неосведомленности о базовой модели.

Я задавал себе этот вопрос месяцами. Ответы на CrossValidated и Quora все перечисляют хорошие свойства функции логистической сигмоиды, но кажется, что мы хитро угадали эту функцию. То, что я пропустил, было оправданием выбора. Я наконец нашел один в разделе 6.2.2.2 книги Bengio «Глубокое обучение» (2016) . Моими словами:

Короче говоря, мы хотим, чтобы логарифм выходных данных модели был пригоден для градиентной оптимизации логарифмической вероятности обучающих данных.

мотивация

• Нам нужна линейная модель, но мы не можем использовать непосредственно как .$z = w^T x + b$$z \in (-\infty, +\infty)$
• Для классификации имеет смысл принять распределение Бернулли и смоделировать его параметр в .$\theta$$P(Y=1) = \theta$
• Итак, нам нужно отобразить из в чтобы выполнить классификацию.$z$$(-\infty, +\infty)$$[0, 1]$

Почему логистическая сигмовидная функция?

Обрезка с дает нулевой градиент для вне . Нам нужен сильный градиент всякий раз, когда прогноз модели неверен, потому что мы решаем логистическую регрессию с градиентным спуском. Для логистической регрессии не существует решения в закрытой форме.$z$$P(Y=1|z) = max\{0, min\{1, z\}\}$$z$$[0, 1]$

Логистическая функция обладает хорошим свойством асимптотики постоянного градиента, когда прогноз модели неверен, учитывая, что мы используем оценку максимального правдоподобия, чтобы соответствовать модели. Это показано ниже:

Для получения числовых преимуществ оценку максимального правдоподобия можно выполнить путем минимизации отрицательного логарифмического правдоподобия обучающих данных. Итак, наша функция стоимости:

Поскольку , мы можем сосредоточиться на случае . Итак, вопрос в том, как смоделировать учитывая, что мы имеем .$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

Очевидные требования для функции отображающей на :$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ должен быть вращательно-симметричным относительно , то есть , так что переключение знаков классов не влияет на функцию стоимости.$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$ должно быть неубывающим, непрерывным и дифференцируемым.

Все эти требования выполняются путем изменения масштаба сигмоидальных функций . Оба и выполняют их. Однако сигмоидальные функции различаются по своему поведению во время градиентной оптимизации логарифмической вероятности. Мы можем увидеть разницу, подключив логистическую функцию к нашей функции стоимости.$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

Насыщенность для$Y=1$

Для и стоимость одной ошибочно классифицированной выборки (т. Е. ) составляет:$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

Мы можем видеть, что существует линейная составляющая . Теперь мы можем рассмотреть два случая:$-z$

• Когда велико, прогноз модели был верным, поскольку . В функции стоимости член асимптотически равен для больших . Таким образом, он примерно отменяет выход , что приводит к примерно нулевой стоимости для этого образца и слабому градиенту. Это имеет смысл, так как модель уже предсказывает правильный класс.$z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• Когда мало (а велика), предсказание модели было не правильно, так . В функции стоимости член асимптотически равен для малых . Таким образом, общая стоимость для этого образца составляет примерно , что означает, что градиент по отношению к составляет примерно . Это позволяет модели корректировать свое неправильное предсказание на основе постоянного градиента, который она получает. Даже при очень малых значениях насыщение не происходит, что может привести к исчезновению градиентов.$z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$

Насыщенность для$Y=0$

Выше мы сосредоточились на случае . Для функция стоимости ведет себя аналогично, обеспечивая сильные градиенты только тогда, когда прогноз модели неверен.$Y=1$$Y=0$

Это функция стоимости для :$J(z)$$Y=1$

Это горизонтальная функция softplus. Для это функция softplus.$Y=0$

альтернативы

Вы упомянули об альтернативах функции логистической сигмоиды, например . Нормализовано до , это будет означать, что мы моделируем .$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

Во время MLE функция стоимости для будет тогда$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$ ,

который выглядит так:

Вы можете видеть, что градиент функции стоимости становится все слабее для .$z \rightarrow - \infty$

Поскольку в первоначальном вопросе упоминалась проблема затухающего градиента, я просто хотел бы добавить, что для промежуточных слоев (где вам не нужно интерпретировать активации как вероятности классов или результаты регрессии), другие нелинейности часто предпочтительнее сигмоидальных функций. Наиболее заметными являются функции выпрямителя (как в ReLU ), которые линейны по положительной области и равны нулю по отрицательной. Одним из их преимуществ является то, что они менее подвержены проблеме затухающего градиента, потому что производная постоянна по положительной области. ReLU стали популярными настолько, что сигмоиды, вероятно, уже нельзя назвать стандартом де-факто.

Глорот и др. (2011) . Глубокие разреженные выпрямительные нейронные сети