Является ли f-мера синонимом точности?

Я понимаю, что f-мера (основанная на точности и отзыве) - это оценка точности классификатора. Кроме того, f-мера предпочтительнее точности, когда у нас есть несбалансированный набор данных. У меня есть простой вопрос (который больше об использовании правильной терминологии, чем о технологии). У меня несбалансированный набор данных, и я использую f-меру в своих экспериментах. Я собираюсь написать статью, которая НЕ предназначена для конференции по машинному обучению / интеллектуальному анализу данных. Следовательно, я могу сослаться на f-меру синонимично с точностью в этом контексте. Например, у меня есть f-мера 0,82, тогда могу ли я сказать, что мой классификатор достигает 82% точных прогнозов?

— Аннамалай Н
источник

Было бы лучше ввести f-меру, если вы ее используете. Подстановка двух не является правильной с моей точки зрения. В вашем случае, если ваша точность равна 99%, вы достигнете 99% точных прогнозов, независимо от того, какова ваша f-мера, и это может привести читателей к ошибке.

— AdrienNK

@AdrienNK: точность 99% не подразумевает правильных прогнозов 99%, если только относительные частоты тестовых случаев не совпадают с реальной ситуацией в приложении.

— cbeleites недоволен SX

@cbeleites вы правы, я знаю, но часто тестовые примеры выпускаются из того же распределения (ну , может быть, это предвзятое мнение у меня о нем , потому что я редко приходилось работать с данными , на которых , что было не так)

— AdrienNK

@AdrienNK: Я химик-аналитик, работающий над медицинскими диагнозами. Распространенность рассматриваемого заболевания может варьироваться в пределах порядка разных групп пациентов. Смотрите, например, обсуждение различных PPV во второй половине этой статьи: nature.com/news/2011/110323/full/471428a.html

— cbeleites недоволен SX

Это было захватывающее чтение, спасибо, что обратили на это мое внимание.

— AdrienNK

Ответы:

Прежде всего, я нахожу «точность» иногда немного вводящей в заблуждение, поскольку она относится к разным вещам:

Термин точность в целом для оценки систем или методов (я аналитик-химик) относится к предвзятости прогнозов, то есть отвечает на вопрос, насколько хороши прогнозы в среднем.

$\frac{TP+TN}{all~cases}$

F-оценка часто вводятся в качестве гармонического среднего точности и вызова (или положительной прогностической ценности и чувствительности). Что касается вашего вопроса, я думаю, что было бы полезно разъяснить это немного дальше и упростить это:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

Последнее выражение не является частью чего-либо, что я могу представить как определенную группу тестовых случаев. В частности, ожидается (сильное) совпадение между ИСТИННЫМИ и ПОЛОЖИТЕЛЬНЫМИ случаями. Это помешало бы мне выразить F-показатель в процентах, поскольку такой вид подразумевает долю случаев. На самом деле, я думаю, я бы предупредил читателя, что F-Score не имеет такой интерпретации.

— cbeleites недоволен SX
источник

F_{1}

$F_1$

Быстрый ответ:

Нет, F-measureформула не состоит из TNфактора, и она полезна при поиске проблем ^{(документ)} .

Таким образом, это ( F-measure) правильный подход для оценки несбалансированных наборов данных или в случае проблем с поиском вместо accuracyи ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ ПРИМЕЧАНИЕ ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)

— Беньямин Джафари
источник