Почему логистическая регрессия дает хорошо откалиброванные модели?

Я понимаю, что одной из причин, по которым логистическая регрессия часто используется для прогнозирования рейтинга кликов в Интернете, является то, что она производит хорошо откалиброванные модели. Есть ли хорошее математическое объяснение этому?

regression logistic

— lsankar4033
источник

логистическая регрессия, сделанная для прогнозирования вероятностей -> которые приводят к калиброванным прогнозам, если не превышают. в то время как большинство моделей машинного обучения не предсказывают вероятности, а скорее классы - и из этих предсказаний есть некоторое искажение к полученным псевдобабилитам -> следовательно, обратите внимание, хорошо откалиброваны

— charles

Я должен был уточнить в этом вопросе, но мой вопрос был больше о том, почему это так, что LR так полезен для прогнозирования вероятностей.

— lsankar4033

Стоит отметить, что вы можете просто подогнать логистическую регрессию к выходу плохо калиброванного классификатора, чтобы получить калиброванную модель. Это называется масштабированием Платта en.wikipedia.org/wiki/Platt_scaling

— generic_user

Ответы:

Да.

Предсказанный вектор вероятности из логистической регрессии удовлетворяет матричному уравнению $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Где - матрица дизайна, а - вектор ответа. Это можно рассматривать как совокупность линейных уравнений, один , вытекающую из каждого столбца матрицы плана . $X$ $y$ $X$

Специализируясь на столбце перехвата (который является строкой в транспонированной матрице), соответствующее линейное уравнение имеет вид

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

Таким образом, общая средняя прогнозируемая вероятность равна среднему значению ответа.

В более общем случае для столбца двоичных объектов соответствующее линейное уравнение имеет вид $x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

таким образом, сумма (и, следовательно, средняя) прогнозируемых вероятностей равна сумме отклика, даже если она специализируется на тех записях, для которых . $x_{ij} = 1$

— Мэтью Друри
источник

@ MatthewDrury, как я могу интерпретировать ваше первое уравнение? является от формы ? Тем не менее это линейное соотношение справедливо? Спасибо!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— Рик

Да, р этой формы. Первое уравнение приходит от установки производной функции потерь на ноль.

— Мэтью Друри

Это касается только калибровки в большом, а это не то, что нам нужно: калибровка в малом.

— Фрэнк Харрелл

@FrankHarrell Хотите разработать? Я не слышал эти условия раньше.

— Мэтью Друри

В литературе по прогнозам вероятности, датируемой Службой погоды США 1950 года, существует длинная история - именно здесь впервые использовался показатель Бриера. «Калибровка в малом» означает, что если посмотреть на прогнозируемые риски 0,01, 0,02, ..., 0,99, то каждый из них является точным, т. Е. Для всех случаев, когда прогнозируемый риск составлял 0,4, результат был около 0,4 время. Я называю «калибровка в крошечном» следующим шагом: для мужчин, у которых прогноз составлял 0,4, был результат, существующий в 0,4 времени, затем для женщин.

— Фрэнк Харрелл

Я думаю, что могу дать вам простое для понимания объяснение следующим образом:

Мы знаем, что его функция потерь может быть выражена в виде следующей функции: Где представляет количество всех обучающих выборок, метка i-го образца, прогнозируемая вероятность i-го образца: . (обратите внимание на смещение здесь)

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

Поскольку целью обучения является минимизация функции потерь, давайте ее частную производную по каждому параметру (подробный вывод можно найти здесь ): И установив его на ноль, вы получите: $\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Это означает, что если модель полностью обучена, прогнозируемые вероятности, которые мы получаем для обучающего набора, распределяются так, что для каждого признака сумма взвешенных (всех) значений этого признака равна сумме значений этого признака из положительных образцов.

Вышесказанное подходит для каждой функции, так как смещение . Установка в 1 и качестве дает: Тогда мы получим: где - прогнозируемая вероятность полностью обученной модели для i-й выборки. И мы можем написать функцию в компактном виде: $\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Мы видим, очевидно, что логистическая регрессия хорошо откалибрована.

Ссылка: Лог-линейные модели и условные случайные поля Чарльз Элкан

— Лернер Чжан
источник