Предложенная вами функция имеет особенность, когда сумма элементов равна нулю.
Предположим, ваш вектор . Этот вектор имеет сумму 0, поэтому деление не определено. Функция здесь не дифференцируема.[ - 1 , 13, 23]
Кроме того, если один или несколько элементов вектора отрицательны, но сумма не равна нулю, ваш результат не является вероятностью.
Предположим, ваш вектор . Это имеет сумму 1, поэтому применение вашей функции приводит к , который не является вектором вероятности, поскольку имеет отрицательные элементы и элементы, превышающие 1.[ - 1 , 0 , 2 ][ - 1 , 0 , 2 ]
Если взглянуть шире, мы можем мотивировать конкретную форму функции softmax с точки зрения распространения бинарной логистической регрессии на случай трех или более категориальных результатов.
Выполнение таких действий, как получение абсолютных значений или квадратов, как предлагается в комментариях, означает, что и имеют одинаковую прогнозируемую вероятность; это означает, что модель не идентифицирована . Напротив, является монотонным и положительным для всех вещественных , поэтому результатом softmax является (1) вектор вероятности и (2) идентифицирована полиномиальная логистическая модель.- хИксэксп ( х ) хехр( х )Икс