В классификаторе softmax зачем использовать функцию exp для нормализации?

Зачем использовать softmax вместо стандартной нормализации? В области комментариев верхнего ответа на этот вопрос @Kilian Batzner поднял 2 вопроса, которые также очень меня смущают. Кажется, никто не дает объяснения, кроме численных преимуществ.

Я понимаю причины использования Cross-Entropy Loss, но как это связано с softmax? Вы сказали, что «функция softmax может рассматриваться как попытка минимизировать перекрестную энтропию между предсказаниями и правдой». Предположим, я бы использовал стандартную / линейную нормализацию, но все же использовал бы перекрестную энтропийную потерю. Тогда я бы также попытался свести к минимуму перекрестную энтропию. Так как же softmax связан с кросс-энтропией, кроме численных преимуществ?

Что касается вероятностного взгляда: какова мотивация для анализа вероятностей журнала? Рассуждения, похоже, немного похожи на «Мы используем e ^ x в softmax, потому что мы интерпретируем x как логарифмические вероятности». С тем же рассуждением, которое мы могли бы сказать, мы используем e ^ e ^ e ^ x в softmax, потому что мы интерпретируем x как log-log-log-вероятности (преувеличивая здесь, конечно). Я получаю численные преимущества softmax, но какова теоретическая мотивация для его использования?

machine-learning deep-learning

— Hans
источник

Он дифференцируем, приводит к неотрицательным результатам (таким, которые могут быть необходимы для вероятности, чтобы можно было рассчитать кросс-энтропию), и ведет себя как функция max, которая подходит в условиях классификации. Добро пожаловать на сайт!

— Эмре

@ Emre Спасибо! Но что значит «ведет себя как функция max»? Кроме того, если у меня есть другая функция, которая также является дифференцируемой, монотонно возрастающей и приводит к неотрицательным результатам, могу ли я использовать ее для замены функции exp в формуле?

— Ханс

Когда вы нормализуете с помощью , наибольший аргумент сопоставляется с 1, а остальные - с нулевым, вследствие роста экспоненциальной функции.

max

$\max$

— Эмре

Ответы:

Это больше, чем просто число. Краткое напоминание о softmax:

P (y = j | x) = \frac{e^{x_{j}}}{\sum_{k = 1}^{K} e^{x_{k}}}

$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$

Там , где представляет собой входной вектор с длиной , равной числу классов . Функция softmax имеет 3 очень приятных свойства: 1. она нормализует ваши данные (выводит правильное распределение вероятностей), 2. дифференцируема и 3. использует упомянутый вами опыт. Несколько важных моментов: $x$ $K$

Функция потерь не имеет прямого отношения к softmax. Вы можете использовать стандартную нормализацию и по-прежнему использовать кросс-энтропию.
Функция «hardmax» (т.е. argmax) не дифференцируема. Softmax дает, по крайней мере, минимальную вероятность для всех элементов в выходном векторе, и поэтому является хорошо дифференцируемой, отсюда и термин «soft» в softmax.
Теперь я перехожу к вашему вопросу. в SoftMax является естественной экспоненциальной функцией. Прежде чем мы нормализуем, мы преобразуем как в графике : $e$ $x$ $e^x$

Если равен 0, то , если равен 1, то , а если равен 2, то теперь ! Огромный шаг! Это то, что называется нелинейным преобразованием наших ненормализованных баллов. Интересное свойство экспоненциальной функции в сочетании с нормализацией в softmax заключается в том, что высокие оценки по становятся гораздо более вероятными, чем низкие оценки. $x$ $y=1$ $x$ $y=2.7$ $x$ $y=7$ $x$

Пример . Скажем, , и ваш логарифм будет вектором . Простая функция argmax выводит: $K=4$ $x$ $[2, 4, 2, 1]$

[0, 1, 0, 0]

$[0, 1, 0, 0]$

Цель argmax, но она не дифференцируема, и мы не можем обучить нашу модель ей :( Простая нормализация, которая дифференцируема, выдает следующие вероятности:

[0.2222, 0.4444, 0.2222, 0.1111]

$[0.2222, 0.4444, 0.2222, 0.1111]$

Это действительно далеко от argmax! :( Принимая во внимание, что softmax выводит:

[0.1025, 0.7573, 0.1025, 0.0377]

$[0.1025, 0.7573, 0.1025, 0.0377]$

Это намного ближе к argmax! Поскольку мы используем естественную экспоненту, мы значительно увеличиваем вероятность наибольшего значения и уменьшаем вероятность более низкого значения по сравнению со стандартной нормализацией. Отсюда «max» в softmax.

— Вега
источник

Отличная информация Однако вместо использования e, как насчет использования константы, скажем, 3 или 4? Будет ли результат таким же?

— Чок Ян Ченг

@ CheokYanCheng, да. Но eесть производное приятнее;)

— вега

Я видел, что результат softmax обычно используется как вероятность принадлежности к каждому классу. Если выбор «е» вместо другой константы является произвольным, не имеет смысла рассматривать его с точки зрения вероятности, верно?

— Javierdvalle

@vega Извините, но я до сих пор не понимаю, как это отвечает на вопрос: почему бы не использовать e ^ e ^ e ^ e ^ e ^ x по тем же причинам? Пожалуйста, объясните

— Гульзар

@jvalle это не eто, что делает его интерпретируемым как вероятность, это тот факт, что каждый элемент вывода softmax ограничен в [0,1] и целые суммы равны 1.

— vega

В дополнение к объяснению Веги,

давайте определим общий softmax: где - постоянная> = 1

P (y = j | x) = \frac{ψ^{x_{j}}}{\sum_{k = 1}^{K} ψ^{x_{k}}}

$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$

ψ

$\psi$

если , то вы довольно далеки от argmax, как упомянул @vega. $\psi=1$

Давайте теперь предположим, что , теперь вы довольно близки к argmax, но у вас также есть очень маленькие числа для отрицательных значений и большие числа для положительных. Эти цифры Переполнение в точке с плавающей точкой арифметической предела легко (например максимальный предел Numpy float64 составляет ). В дополнение к этому, даже если выбор который намного меньше , фреймворки должны реализовывать более стабильную версию softmax (умножая как числитель, так и знаменатель на постоянную ), поскольку результаты становятся слишком маленькими, чтобы иметь возможность выражать с такой точностью. $\psi=100$ $10^{308}$ $\psi=e$ $100$ $C$

Итак, вы хотите выбрать постоянную, достаточно большую, чтобы хорошо аппроксимировать argmax, а также достаточно маленькую, чтобы выразить эти большие и маленькие числа в вычислениях.

И, конечно, у также есть довольно хорошая производная. $e$

— komunistbakkal
источник

Этот вопрос очень интересный. Я не знаю точную причину, но я думаю, что следующая причина может быть использована для объяснения использования экспоненциальной функции. Этот пост вдохновлен статистической механикой и принципом максимальной энтропии.

Я объясню это, используя пример с изображениями, которые состоят из изображений из класса , изображений из класса , ... и изображений из класса . Затем мы предполагаем, что наша нейронная сеть смогла применить нелинейное преобразование к нашим изображениям, так что мы можем назначить «энергетический уровень» для всех классов. Мы предполагаем, что эта энергия имеет нелинейный масштаб, который позволяет линейно разделять изображения. $N$ $n_1$ $\mathcal{C}_1$ $n_2$ $\mathcal{C}_2$ $n_K$ $\mathcal{C}_K$ $E_k$

Средняя энергия связана с другими энергиями следующим соотношением $\bar{E}$ $E_k$

N \bar{E} = \sum_{k = 1}^{K} n_{k} E_{k} . (*)

$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$

В то же время мы видим, что общее количество изображений можно рассчитать как следующую сумму

N = \sum_{k = 1}^{K} n_{k} . (* *)

$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$

Основная идея принципа максимальной энтропии состоит в том, что количество изображений в соответствующих классах распределяется таким образом, что число возможных комбинаций для данного распределения энергии максимизируется. Проще говоря, система не очень вероятно перейдет в состояние, в котором у нас есть только класс она также не перейдет в состояние, в котором у нас одинаковое количество изображений в каждом классе. Но почему это так? Если бы все изображения были в одном классе, система имела бы очень низкую энтропию. Второй случай также будет очень неестественной. Более вероятно, что у нас будет больше изображений с умеренной энергией и меньше изображений с очень высокой и очень низкой энергией. $n_1$

Энтропия увеличивается с числом комбинаций, в которых мы можем разделить изображений на классы изображений , , ..., с соответствующей энергией. Это число комбинаций задается коэффициентом полинома $N$ $n_1$ $n_2$ $n_K$

(\begin{matrix} N! \\ n_{1}!, n_{2}!, \dots, n_{K}! \end{matrix}) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} .

$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$

Мы постараемся максимизировать это число, предполагая, что у нас бесконечно много изображений . Но его максимизация имеет также ограничения равенства и . Этот тип оптимизации называется ограниченной оптимизацией. Мы можем решить эту проблему аналитически, используя метод множителей Лагранжа. Мы вводим множители Лагранжа и для ограничений на равенство и вводим функцию Лагранжа . $N\to \infty$ $(*)$ $(**)$ $\beta$ $\alpha$ $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$

L (n_{1}, n_{2}, \dots, n_{k}; α, β) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} + β [\sum_{k = 1}^{K} n_{k} E_{k} - N \bar{E}] + α [N - \sum_{k = 1}^{K} n_{k}]

$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$

Поскольку мы предполагали, что мы также можем принять и использовать приближение Стирлинга для факториала. $N\to \infty$ $n_k \to \infty$

\ln n! = n \ln n - n + O (\ln n) .

$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$

Обратите внимание, что это приближение (первые два слагаемых) является только асимптотическим, это не означает, что это приближение будет сходиться кдля . $\ln n!$ $n\to \infty$

Частная производная функции Лагранжа по приведет к $n_\tilde{k}$

\frac{\partial L}{\partial n_{\tilde{k}}} = - \ln n_{\tilde{k}} - 1 - α + β E_{\tilde{k}} .

$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$

Если мы установим эту частную производную на ноль, мы можем найти

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\exp (1 + α)} . (* * *)

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$

Если мы поместим это обратно в мы можем получить $(**)$

\exp (1 + α) = \frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k}) .

$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$

Если мы поместим это обратно в мы получим что-то, что должно напомнить нам о функции softmax $(***)$

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k})} .

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$

Если мы определим как вероятность класса помощью мы получим нечто, действительно похожее на функцию softmax $n_\tilde{k}/N$ $\mathcal{C}_\tilde{k}$ $p_\tilde{k}$

p_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\sum_{k = 1}^{K} \exp (β E_{k})} .

$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$

Следовательно, это показывает нам, что функция softmax является функцией, максимизирующей энтропию при распределении изображений. С этого момента имеет смысл использовать это как распределение изображений. Если мы установим мы точно получим определение функции softmax для вывода . $\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ $k^{\text{th}}$

— MachineLearner
источник