ROC и multiROC анализ: как рассчитать оптимальную точку среза?

Я пытаюсь понять, как вычислить оптимальную точку отсечения для кривой ROC (значение, при котором чувствительность и специфичность максимальны). Я использую набор данных aSAHиз пакета pROC.

outcomeПеременная может быть объяснено двумя независимыми переменными: s100bи ndka. Используя синтаксис Epiпакета, я создал две модели:

library(pROC)
library(Epi)
ROC(form=outcome~s100b, data=aSAH)
ROC(form=outcome~ndka, data=aSAH)

Вывод иллюстрируется на следующих двух графиках:

На первом графике ( s100b) функция говорит, что оптимальная точка отсечения локализована на значении, соответствующем lr.eta=0.304. Во втором графике ( ndka) оптимальная точка отсечения локализована при соответствующем значении lr.eta=0.335(в чем смысл lr.eta). Мой первый вопрос:

• что соответствует s100bи ndkaзначения для указанных lr.etaзначений (какова оптимальная точка отсечения с точки зрения s100bи ndka)?

ВТОРОЙ ВОПРОС:

Теперь предположим, что я создаю модель с учетом обеих переменных:

ROC(form=outcome~ndka+s100b, data=aSAH)

Полученный график:

Я хочу знать, каковы значения ndkaAND, s100bпри которых чувствительность и специфичность максимизируются функцией. Другими словами: каковы значения ndkaи s100bпри которых мы имеем Se = 68,3% и Sp = 76,4% (значения, полученные из графика)?

Я предполагаю, что этот второй вопрос связан с анализом multiROC, но документация Epiпакета не объясняет, как рассчитать оптимальную точку отсечения для обеих переменных, используемых в модели.

Мой вопрос очень похож на этот вопрос от reasearchGate , который говорит вкратце:

Определение порогового значения, которое представляет лучший компромисс между чувствительностью и специфичностью меры, является простым. Однако, для анализа многомерной кривой ROC, я отметил, что большинство исследователей сосредоточилось на алгоритмах для определения общей точности линейной комбинации нескольких показателей (переменных) в терминах AUC. [...]

Однако в этих методах не упоминается, как определить комбинацию показателей отсечки, связанных с несколькими показателями, которая дает лучшую диагностическую точность.

Возможное решение - это то, что предложил Шульц в своей статье , но из этой статьи я не могу понять, как вычислить оптимальную точку среза для многомерной кривой ROC.

Возможно, решение из Epiпакета не является идеальным, поэтому любые другие полезные ссылки будут оценены.

Чтобы уточнить ответ Фрэнка Харрелла, Epiпакет должен был соответствовать логистической регрессии и создать кривую ROC с прогнозом результатов в следующей форме:

В вашем случае подходящими значениями являются (перехват) = -2,379, (s100b) = 5,334 и (ndka) = 0,031. Поскольку вы хотите, чтобы ваш прогнозируемый результат составлял 0,312 («оптимальное» ограничение), вы можете заменить это следующим образом (надеюсь, я не внес ошибок здесь):$\beta_0$$\beta_1$$\beta_2$

Любая пара значений (s100b, ndka), которые удовлетворяют этому равенству, является «оптимальной». Не повезло вам, таких пар бесконечно много. Например, (0.29, 1), (0, 51.2) и т. Д. Еще хуже, большинство из них не имеют никакого смысла. Что означает пара (-580, 10000)? Ничего!

Другими словами, вы не можете устанавливать срезы на входах - вы должны делать это на выходах, и в этом весь смысл модели.

Нецелесообразно искать отсечки для входных переменных, а вместо этого только для выходных данных (например, прогнозируемый риск из модели с несколькими переменными). Это потому, что отсечение для x1 будет зависеть от непрерывного значения x2. И поиск точки отсечения для для получения оптимальных решений требует функции полезности / потерь / затрат, и это не имеет ничего общего с кривыми ROC.$\hat{Y}$

Я предполагаю, lr.etaчто это линейный предиктор - логит - из подобранной модели, так как - это часто используемый символ для нее; или, если нет, вероятность из подобранной модели. (Оказывается, это последнее: см. Https://stackoverflow.com/a/38532555/1864816 .) Вы можете проверить код в . В любом случае вы сможете рассчитать его из коэффициентов модели для любого количества предикторов. (Обратите внимание, что это будет не отсечение для каждого предиктора отдельно, а функция всех предикторов.)$\eta$ROC

В вашем первом предложении должно быть сказано (как видно из графиков), что вы ищете, где сумма чувствительности и специфичности максимальна. Но почему это «оптимально»? Имеет ли ложноположительный результат такое же значение, как ложноотрицательный результат? Смотрите здесь .

Вы можете найти порог, при котором истинная положительная скорость (tpr) пересекается с истинной отрицательной скоростью (tnr), это будет точка, при которой сумма ложных положительных и ложных отрицательных значений является минимальной.