Каковы различия между AUC и F1-счетом?

14

F1-оценка является гармоническим средним значением точности и отзыва. Ось у отзыва - это истинно положительный показатель (который также вызывается). Итак, иногда классификаторы могут иметь низкий уровень отзыва, но очень высокий AUC, что это значит?

— RockTheStar
источник

3

AUC неясно, если вы не указали кривую. Вы имеете в виду площадь под кривой ROC, площадь под кривой PR, ...?

— Марк Клазен

Площадь под кривой.

— RockTheStar

2

Какая кривая? РПЦ? PR? Лифт?

— Марк Клазен

РПЦ кривая. И результат F1, полученный из этого.

— RockTheStar

18

Оценка F1 применима для любой конкретной точки кривой ROC. Эта точка может представлять собой, например, конкретное пороговое значение в двоичном классификаторе и, таким образом, соответствует конкретному значению точности и отзыва.

Помните, что F Score - это умный способ представить как отзыв, так и точность. Чтобы оценка F была высокой, точность и отзыв должны быть высокими.

Таким образом, кривая ROC предназначена для различных уровней пороговых значений и имеет множество значений F-баллов для различных точек на своей кривой.

— Лондонский парень
источник

3

Интересный аспект. Но, насколько я понимаю, оценка F1 основана на Recall и Precision, тогда как AUC / ROC состоит из Recall и Specificity. Кажется, они не одно и то же. Я согласен с тем, что F - это балл, а ROC - это набор баллов с разным порогом, но я не думаю, что они одинаковы по причине разного определения. Можете ли вы помочь мне сделать это яснее? Спасибо

— Catbuilts

8

AUC имеет размер [ТОЧНОСТЬ] * [ВЫЗВАТЬ], и это область под кривой ROC. F1 для фиксированной пары точности и отзыва. Так они разные. Но есть некоторые связи. Смотрите это: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf

— Даниил
источник

2

На оси кривой ROC являются истинной положительной скорости (напомним, чувствительность АКА) и ложных срабатываний (ложной тревоги) , а не точности, АКА PPV, прогностическая ценность положительного результата .

— Лин Ма
источник