Сравнить классификаторы на основе AUROC или точности?

11

У меня есть проблема двоичной классификации, и я экспериментирую с различными классификаторами: я хочу сравнить классификаторы. какой из них лучше измерить AUC или точность? И почему?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— Сина
источник

13

Правильно классифицированная пропорция является неправильным правилом подсчета очков, т. Е. Оптимизируется фиктивной моделью. Я бы использовал правильное квадратичное правило оценки, известное как оценка Бриера, или вероятность соответствия (область под кривой ROC в двоичном случае ). Случайный лес работает лучше, чем SVM в вашем случае. $Y$

— Фрэнк Харрелл
источник

Если для субъекта в вашей выборке является наблюдаемым двоичным результатом, а является прогнозируемой вероятностью '1', то оценка Бриера равна (если я помню) . Поскольку у OP есть проблема двоичной классификации, известны, но как вы вычислите для SVM?

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

@fcop Существует способ преобразования прогноза двоичной классификации SVM в вероятность, называемый Platt Scaling ( en.wikipedia.org/wiki/Platt_scaling ). По сути, вместо вычисления SVM-классификации ( или ) как , где - это решение выпуклого квадратичного программирования SVM Проблема, масштабирование Платта требует логистического преобразования : где и - параметры, определяемые алгоритмом масштабирования Платта.

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$

g (y_{i}, x_{i})

$g(y_i,x_i)$

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

— RobertF

8

Я думаю, что вы определенно должны смотреть на большее количество показателей, чем просто AUC и точность.

Точность (вместе с чувствительностью и специфичностью) является очень простой, но смещенной метрикой, которая вынуждает вас смотреть на абсолютный результат предсказания и не открывает для утверждения вероятности класса или ранжирования. Он также не учитывает совокупность, которая допускает неправильное толкование как модель, дающая 95% -ную точность для совокупности с 95% -ной вероятностью быть случайной в правильном случае, не очень хорошая модель, даже если точность высокая.

AUC - хороший показатель для подтверждения точности модели, которая не зависит от вероятностей класса населения. Однако он ничего не скажет вам о том, насколько хороши оценки вероятности. Вы могли бы получить высокий AUC, но все еще иметь очень искаженные оценки вероятности. Эта метрика более разборчива, чем точность и определенно даст вам лучшие модели при использовании в сочетании с некоторым правильным правилом подсчета очков, например, оценкой Бриера, как упомянуто в другом посте.

Вы можете получить более формальное доказательство здесь, хотя этот документ довольно теоретический: AUC: статистически непротиворечивая и более дискриминационная мера, чем точность

Однако есть множество хороших метрик. Функции потерь для оценки и классификации вероятности двоичного класса: структура и приложения - это хорошая статья, в которой изучаются правильные правила оценки, такие как оценка Бриера.

Еще одна интересная статья с метриками для оценки эффективности модели - это Оценка: от точности, отзыва и F-меры до ROC, информированности, маркировки и корреляции , в которой рассматриваются другие хорошие метрики производительности, такие как информированность.

Подводя итог, я бы порекомендовал взглянуть на оценку AUC / Gini и Brier, чтобы утверждать производительность модели, но в зависимости от цели вашей модели другие метрики могут лучше удовлетворить вашу проблему.

— пока
источник

Связь для оценки: от точности, отзыва и F-меры к ROC, информированность, заметность и корреляция мертвы

— vonjd

Если для субъекта в вашей выборке является наблюдаемым двоичным результатом, а является прогнозируемой вероятностью '1', то оценка Бриера равна (если я помню) . Поскольку у OP есть проблема двоичной классификации, известны, но как вы вычислите для SVM?

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

Никакой бриксор не подходит для методов, которые только дают вам результат, а не вероятность. Niether - auc, хотя, поскольку это скажет вам, насколько хорошо вы оцениваете свои прогнозы. Имея только результаты, вы получите только точку в пространстве ROC, следовательно, область под кривой будет треугольником. Но он все равно даст вам число и, следовательно, будет более значительным, хотя и более или менее превратится в проигрыш 0-1. Если у вас есть только результаты, я советую взглянуть на Precision, Recall и Coapp's Kappa, которые являются показателями, разработанными для тех случаев, когда у вас есть результаты.

— а