Как вывести вероятностную интерпретацию AUC?

14

Почему область под кривой ROC является вероятностью того, что классификатор оценит случайно выбранный «положительный» экземпляр (из полученных предсказаний) выше, чем случайно выбранный «положительный» (из исходного положительного класса)? Как можно доказать это утверждение математически, используя интеграл, давая CDF и PDF истинных положительных и отрицательных распределений классов?

probability roc auc

— ММФ
источник

2

Я написал очень элементарное доказательство этого здесь: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Мэтью Друри

10

Прежде всего, давайте попробуем определить площадь под кривой ROC формально. Некоторые предположения и определения:

У нас есть вероятностный классификатор, который выводит «оценку» s (x), где x - особенности, а s - общая возрастающая монотонная функция оценочной вероятности p (class = 1 | x).
$f_{k}(s)$ , с : = pdf баллов для класса k, с CDF $k = \{0, 1\}$ $F_{k}(s)$
Классификация нового наблюдения получается путем сравнения балла s с порогом t

Кроме того, для математического удобства давайте рассмотрим положительный класс (обнаруженное событие) k = 0 и отрицательный k = 1. В этом параметре мы можем определить:

Напомним (Чувствительность, также TPR) : (доля положительных случаев, классифицированных как положительные) $F_{0}(t)$
Специфичность (он же TNR) : (доля негативных случаев классифицируется как негативная) $1 - F_{1}(t)$
FPR (иначе выпадение) : 1 - TNR = $F_{1}(t)$

Тогда кривая ROC представляет собой график от . Устанавливая , мы можем формально определить область под кривой ROC следующим образом: Изменение переменной ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Эту формулу можно легко увидеть как вероятность того, что случайно выбранный член класса 0 даст оценку ниже, чем оценка случайно выбранного члена класса 1.

Это доказательство взято с: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
источник

5

Ответ @ alebu отличный. Но его обозначение нестандартно и использует 0 для положительного класса и 1 для отрицательного класса. Ниже приведены результаты для стандартной записи (0 для отрицательного класса и 1 для положительного класса):

Pdf и cdf оценки для отрицательного класса: и $f_0(s)$ $F_0(s)$

Pdf и cdf оценки для положительного класса: и $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

где обозначает порог. Можно применить интерпретацию в ответе @ alebu к последнему выражению. $\tau$

— Лей хуан
источник

1

Способ расчета ППК-ROC является сюжет из ТСО и FPR как порог, изменяется и вычислить площадь под этой кривой. Но почему эта область под кривой такая же, как эта вероятность? Давайте предположим следующее: $\tau$

$A$ - это распределение баллов, которое модель дает для точек данных, которые фактически находятся в положительном классе.
$B$ - это распределение баллов, которое модель дает для точек данных, которые на самом деле относятся к отрицательному классу (мы хотим, чтобы это было слева от ). $A$
$\tau$ - порог отсечки. Если точка данных получает оценку выше этой, она предсказывается как принадлежащая к положительному классу. В противном случае прогнозируется отрицательный класс.

Обратите внимание, что TPR (напоминание) определяется как: а FPR (выпадение) -: . $P(A>\tau)$ $P(B>\tau)$

Теперь мы построим TPR на оси у и РСП на оси х, нарисуйте кривую для различных и вычислить площадь под этой кривой ( ). $\tau$ $AUC$

Мы получаем:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ где - FPR. Теперь одним из способов вычисления этого интеграла является рассмотрение как принадлежащего равномерному распределению. В этом случае это просто становится ожиданием .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ если мы рассмотрим .

x \sim U [0, 1)

$x \sim U[0,1)$

Теперь здесь был только $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Поскольку мы рассматривали как равномерное распределение,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Но мы знаем из обратного преобразования закон , что для любой случайной величины , если , то . Это следует из того, что взятие любой случайной величины и применение к ней собственного CDF приводит к униформе. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ и это верно только для равномерного.

Использование этого факта в уравнении (2) дает нам:

τ (x) \sim B

$\tau(x) \sim B$

Подставляя это в уравнение (1), получаем:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Другими словами, область под кривой - это вероятность того, что случайная положительная выборка будет иметь более высокий балл, чем случайная отрицательная выборка.

— ryu576
источник