AUC в порядковой логистической регрессии

Я использую 2 вида логистической регрессии - один простой тип, для двоичной классификации, а другой - порядковый логистический регресс. Для вычисления точности первого я использовал перекрестную проверку, где я вычислял AUC для каждого раза и затем вычислял среднее значение AUC. Как я могу сделать это для порядковой логистической регрессии? Я слышал об обобщенном ROC для мультиклассовых предикторов, но я не уверен, как его вычислить.

Спасибо!

— Ноам Пелед
источник

не AUC, а связано: на микро / макро точных кривых отзыва на stats.stackexchange.com/questions/21551/…

— Евгений

Ответы:

Мне нравится только область под кривой ROC ( -индекс), потому что это вероятность совпадения. является строительным блоком ранговых коэффициентов корреляции. Например, Somers ' . Для порядкового , является отличным показателем прогнозирующей дискриминации, а R пакет предоставляет удобные способы получить самозагрузки переобучения скорректированных оценок . Вы можете выполнить обратное преобразование для обобщенного индекса (обобщенного AUROC). Есть причины , чтобы не рассматривать каждый уровень отдельно , потому что это не использует порядковый характер . $c$ $c$ $D_{xy} = 2\times (c - \frac{1}{2})$ $Y$ $D_{xy}$ rms $D_{xy}$ $c$ $Y$ $Y$

В rmsнем есть две функции для порядковой регрессии: lrmи ormпоследняя обрабатывает непрерывный и обеспечивает больше семейств распределения (функции связи), чем пропорциональные шансы. $Y$

— Фрэнк Харрелл
источник

Основная проблема будет в том, как RMS вычисляет используемый в Соммера ?

c - i n d e x

$c-index$

D_{x y}

$D_{xy}$

— Чемберлен Фонча

Это пишется Сомер . Обобщенный индекс просто вычисляется путем обратного решения уравнения, перечисленного выше. Внутренние, все возможные комбинации наблюдений, имеющих различные значения , рассматриваются, и доля таких пар, для которых прогнозы находятся в одном и том же порядке, является оценкой вероятности согласования. Я ошибся в одном: функция использует Спирмена вместо .

c

$c$

Y

$Y$ orm

ρ

$\rho$

D_{x y}

$D_{xy}$

— Фрэнк Харрелл

Спасибо за исправление орфографии. В порядковой регрессии будет гораздо интереснее не только посмотреть на попарное упорядочение, как это делается в упомянутой вами функции orm, но также посмотреть на согласованное упорядочение (с тройными или более высокими операторами) в зависимости от количества классов, которые у вас есть. Таким образом, я хочу сказать следующее: с помощью кумулятивной логистической регрессии, например, в модели учитывается порядок классов. Предиктивная мера также должна быть способна не выполнять попарное сравнение но сравнение в форме $ P (pred_1 <pred_2 <pred_3 | obs_1 <obs_2 <o

P (p r e d_{1} < p r e d_{2} | o b s_{1} < o b s_{2})

$P(pred_1<pred_2|obs_1<obs_2)$

— камергер Фонча

Не зная о таких мерах, моя первая реакция состоит в том, что они устанавливают высокую планку, чтобы препятствовать.

— Фрэнк Харрелл

AUC для порядковой регрессии является чем-то хитрым. Возможно, вы захотите рассчитать AUC для каждого класса, создав макеты, которые будут принимать значение 1 для класса, для которого вы рассчитываете AUC, и 0 для остальных остальных классов. Если у вас есть 4 класса, вы создадите 4 AUC и разместите их на одном графике. Основная проблема этого метода заключается в том, что он одинаково наказывает за неправильную классификацию. Гораздо более интуитивно ошибочно классифицировать класс 1 в класс 3 должно быть хуже, чем неправильно классифицировать класс 1 в класс 2.

— Чемберлен Фонча
источник