Почему существуют две разные формулировки / обозначения логистических потерь?

Я видел два типа формулировок логистических потерь. Мы можем легко показать, что они идентичны, единственное отличие - это определение метки . $y$

Формулировка / обозначения 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

где , где логистическая функция отображает действительное число в интервал 0,1. $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

Формулировка / обозначение 2, : $y \in \{-1, +1\}$

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Выбор нотации подобен выбору языка, есть плюсы и минусы для использования того или иного. Каковы плюсы и минусы для этих двух обозначений?

Мои попытки ответить на этот вопрос состоят в том, что статистическому сообществу, похоже, нравится первая нотация, а сообществу информатики - вторая.

Первые обозначения можно объяснить термином «вероятность», так как логистическая функция преобразует действительное число в интервал 0,1. $\beta^Tx$
И второе обозначение является более кратким, и его легче сравнивать с потерей шарнира или потерей 0-1.

Я прав? Любые другие идеи?

— Haitao Du
источник

Я уверен, что об этом уже спрашивали несколько раз. Например, stats.stackexchange.com/q/145147/5739

— StasK

Почему вы говорите, что второе обозначение легче сравнить с потерей шарнира? Просто потому, что он определен в вместо или что-то еще?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— борец с тенью

Мне нравится симметрия первой формы, но линейная часть скрыта довольно глубоко, поэтому с ней может быть трудно работать.

— Мэтью Друри

@ssdecontrol, пожалуйста, проверьте этот рисунок, cs.cmu.edu/~yandongl/loss.html, где ось x - , а ось y - значение потерь. Такое определение удобно сравнивать с потерей 01, потерей шарнира и т. Д.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

Ответы:

Короткая версия

да
да

Длинная версия

Преимущество математического моделирования в том, что оно гибкое. Это действительно эквивалентные функции потерь, но они происходят из очень разных базовых моделей данных.

Формула 1

Первое обозначение получено из вероятностной модели Бернулли для , которая обычно определяется в . В этой модели результат / метка / класс / прогноз представлен случайной величиной которая следует за распределением . Поэтому его вероятность: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

для . Использование 0 и 1 в качестве значений индикатора позволяет нам уменьшить кусочную функцию в крайнем правом положении до краткого выражения. $p\in[0, 1]$

Как вы указали, вы можете затем связать с матрицей входных данных , указав . Отсюда прямые алгебраические манипуляции показывают, что совпадает с первым в вашем вопросе (подсказка: ). Таким образом, минимизация потерь логарифма за эквивалентна оценке максимального правдоподобия модели Бернулли. $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ $\{0, 1\}$

Эта формулировка также является частным случаем обобщенной линейной модели , которая формулируется как для обратимой, дифференцируемой функции и распределения в экспоненциальная семья . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Формула 2

На самом деле .. Я не знаком с Формулой 2. Однако определение на является стандартным в формулировке машины опорных векторов . Подгонка SVM соответствует максимизации $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

Это лагранжева форма ограниченной задачи оптимизации. Это также пример регуляризованной задачи оптимизации с целевой функцией для некоторой функции потерь и скалярного гиперпараметра который управляет величиной регуляризации (также называется «усадка») применяется к . Потеря шарнира - это только одна из нескольких возможностей , которая также включает в себя второй в вашем вопросе.

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
источник

В Формуле 1 не должно быть:

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

— glebm

Я думаю, у @ssdecontrol был очень хороший ответ. Я просто хочу добавить несколько комментариев к формуле 2 для моего собственного вопроса.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

Причина, по которой людям нравится эта формулировка, заключается в том, что она очень лаконична и устраняет «детали интерпретации вероятности».

Сложной нотацией является , заметьте, - это двоичная переменная, но здесь является действительным числом. По сравнению с формулировкой 1, нам нужно два дополнительных шага, чтобы сделать это для дискретной метки, шаг 1. Функция SigMod, шаг 2. применить порог 0,5. $\hat y$ $y$ $\hat y$

Но без этих подробностей мы можем легко сравнить их с другими классификационными потерями, такими как потеря 01 или потеря шарнира.

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

Здесь мы строим три функции потерь, ось x - это а ось y - это значение потерь. Обратите внимание, что во всех приведенных выше формулах является действительным числом, и это число может быть линейной формы или других форм. Такое обозначение скрывает детали вероятности. $y \cdot \hat y$ $\hat y$ $\beta^Tx$

— Haitao Du
источник

Я понимаю, что ты имеешь в виду в отношении простого сравнения

— shadowtalker