Почему логистическая регрессия хорошо откалибрована и как ее испортить?

В scikit изучают документы по калибровке вероятности, они сравнивают логистическую регрессию с другими методами и отмечают, что случайный лес менее хорошо откалиброван, чем логистическая регрессия.

Почему логистическая регрессия хорошо откалибрована? Как можно испортить калибровку логистической регрессии (а не то, что кто-то хотел бы - просто как упражнение)?

Хотя этот вопрос и его первый ответ, кажется, сосредоточены на теоретических вопросах калибровки модели логистической регрессии, проблема:

Как можно испортить калибровку логистической регрессии ...?

заслуживает некоторого внимания в отношении реальных приложений, для будущих читателей этой страницы. Мы не должны забывать, что модель логистической регрессии должна быть четко определена, и что эта проблема может быть особенно проблематичной для логистической регрессии.

Во-первых, если логарифм членства в классе не связан линейно с предикторами, включенными в модель, он не будет хорошо откалиброван. Глава 10 Харрелла о бинарной логистической регрессии посвящает около 20 страниц «Оценке соответствия модели», чтобы можно было воспользоваться «асимптотической непредвзятостью оценки максимального правдоподобия», как это выразилось @whuber, на практике.

Во-вторых, спецификация модели представляет собой особую проблему в логистической регрессии, поскольку она имеет присущую опущенную переменную погрешность, которая может удивлять тех, кто имеет опыт обычной линейной регрессии. Как написано на этой странице:

Пропущенные переменные будут смещать коэффициенты включенных переменных, даже если пропущенные переменные не связаны с включенными переменными.

На этой странице также есть полезное объяснение того, почему такое поведение следует ожидать, с теоретическим объяснением связанных, аналитически управляемых, пробитных моделей. Поэтому, если вы не знаете, что вы включили все предикторы, связанные с членством в классе, вы можете столкнуться с опасностями неправильной спецификации и плохой калибровки на практике.

Что касается спецификации модели, вполне возможно, что основанные на деревьях методы, такие как случайный лес, которые не предполагают линейности по всему диапазону значений предикторов и по своей природе обеспечивают возможность находить и включать взаимодействия между предикторами, в конечном итоге получат калиброванная модель на практике, чем модель логистической регрессии, которая недостаточно учитывает условия взаимодействия или нелинейность. Что касается смещения пропущенных переменных, мне не ясно, может ли какой-либо метод оценки вероятностей членства в классе адекватно решить эту проблему.

Логистическая регрессия - это метод классификации, который в основном изучает функцию вероятности по входному пространству путем подгонки параметров . Если прогнозируемые вероятности изучаются с помощью соответствующей функции потерь, то логистическая регрессия имеет потенциал для изучения объективной оценки вероятностей бинарных событий, когда она имеет достаточную емкость (входные характеристики).$\pi_\theta(x)$$\theta$

Потеря журнала позволяет такую ​​объективную оценку. Рассмотрим тот факт, что функция потери логарифма является просто отрицательной логарифмической вероятностью распределения Бернулли . Оценка максимального правдоподобия для является несмещенной с учетом набора наблюдений для переменной . В случае классификации по некоторому входному пространству можно представить себе одно распределение Бернулли для всех точек в . Чаще всего у вас будет только 1 наблюдение на распределение Бернулли, которое находится в . Совместное применение оценки максимального правдоподобия для всех наблюдаемых распределений Бернулли$z \thicksim \text{Ber}(p)$$p$$z$$\mathcal{X}$$\mathcal{X}$$y_i$$x_i$$y_i \thicksim \text{Ber}(\pi(x_i))$будет применять несколько ограничений к . Поскольку все эти ограничения приводят к непредвзятым оценкам, и пока функция достаточно гибкая, чтобы соответствовать истинной базовой вероятностной функции , процедура обучения будет последовательной и будет сходиться к оптимальной модели по мере получения больше данных. Таким образом, ограничение емкости модели (например, меньшее количество функций) может затруднить калибровку логистической регрессии, увеличивая расстояние между наилучшей обучаемой моделью и истинной моделью.$\pi_\theta$$\pi_\theta$$\pi^*$

Использование неправильной модели наблюдения с логистической регрессией приведет к некалиброванным вероятностям. Моделирование бинарных событий с нормальным распределением неуместно и не должно использоваться в сочетании с логистической регрессией. Функция потерь, соответствующая модели наблюдения нормального распределения, представляет собой среднеквадратичную ошибку. Таким образом, использование потерь MSE определенно помешало бы его калибровке.