Обязательно ли логистическая регрессия, максимизирующая вероятность, также максимизирует AUC по сравнению с линейными моделями?

Учитывая набор данных с двоичными результатами и некоторой матрицей предикторов , стандартная модель логистической регрессии оценивает коэффициенты \ beta_ {MLE } которые максимизируют биномиальную вероятность. Когда X - полный ранг, \ beta_ {MLE} уникален; когда нет идеального разделения, оно конечно.$y\in\{0,1\}^n$$X\in\mathbb{R}^{n\times p}$$\beta_{MLE}$$X$$\beta_{MLE}$

Эта модель максимального правдоподобия также максимизирует ROC AUC (он же -статистический), или существует некоторая оценка коэффициента которая позволит получить более высокий ROC AUC? Если это правда, что MLE не обязательно максимизирует ROC AUC, то другой способ взглянуть на этот вопрос: «Есть ли альтернатива максимизации вероятности, которая всегда будет максимизировать ROC AUC логистической регрессии?»$c$$\beta_{AUC} \neq \beta_{MLE}$

Я предполагаю, что модели в остальном одинаковы: мы не добавляем и не удаляем предикторы в или иным образом изменяем спецификацию модели, и я предполагаю, что модели, максимизирующие правдоподобие и максимизирующие AUC, используют одну и ту же функцию связи.$X$

Это не тот случай, когда $\beta_{MLE} = \beta_{AUC}$ .

Чтобы проиллюстрировать это, рассмотрим, что AUC может быть написано как

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

Другими словами, порядок предсказаний - единственное, что влияет на AUC . Это не относится к функции правдоподобия. Итак, в качестве умственного упражнения, предположим, что у нас были единственные предикторы, и в нашем наборе данных мы не видим идеального разделения (т. Е.$\beta_{MLE}$ конечно). Теперь, если мы просто примем значение самого большого предиктора и увеличим его на некоторое небольшое значение, мы изменим вероятность этого решения, но оно не изменит AUC, так как порядок должен остаться прежним. Таким образом, если старый MLE максимизировал AUC, он все равно будет максимизировать AUC после изменения предиктора, но больше не будет максимизировать вероятность.

Таким образом, по крайней мере, дело не в том, что $\beta_{AUC}$ не является уникальным; любое $\beta$ которое сохраняет порядок оценок, достигает точно такой же AUC. В общем, так как AUC чувствителен к различным аспектам данных, я поверю , что мы должны быть в состоянии найти случай , когда $\beta_{MLE}$ не максимизирует $\beta_{AUC}$ . На самом деле, я бы рискнул предположить, что это происходит с большой вероятностью.

РЕДАКТИРОВАТЬ (перевод комментария в ответ)

Следующий шаг - доказать, что MLE не обязательно максимизирует AUC (что еще не доказано). Это можно сделать, взяв что-то вроде предикторов 1, 2, 3, 4, 5, 6, $x$ (с $x > 6$ ) с результатами 0, 0, 0, 1, 1, 1, 0. Любое положительное значение $\beta$ будет максимизировать AUC (независимо от значения $x$ ), но мы можем выбрать $x$ достаточно большой, чтобы $\beta_{MLE} < 0$ .