Как вы рассчитываете точность и вспоминаете для мультиклассовой классификации, используя путаницу?

Интересно, как вычислить точность и вспомнить использование путаницы для решения задачи классификации нескольких классов. В частности, наблюдение может быть назначено только его наиболее вероятному классу / метке. Я хотел бы вычислить:

• Точность = TP / (TP + FP)
• Напомним = TP / (TP + FN)

для каждого класса, а затем вычислите микро-усредненную F-меру.

В случае 2-гипотезы матрица смешения обычно имеет вид:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

где я использовал что-то похожее на вашу запись:

• TP = истинно положительный (объявите H1, если, по правде говоря, H1),
• FN = ложноотрицательный (объявите H0, если, по правде говоря, H1),
• FP = ложно-положительный
• TN = истинно отрицательный

Исходя из необработанных данных, значения в таблице обычно являются подсчетами для каждого вхождения в тестовых данных. Исходя из этого, вы сможете рассчитать необходимые вам количества.

редактировать

Обобщением для многоклассовых задач является суммирование по строкам / столбцам матрицы путаницы. Учитывая, что матрица ориентирована, как указано выше, т. Е. Что данная строка матрицы соответствует конкретному значению для «истины», имеем:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

То есть точность - это доля событий, где мы правильно объявили из всех случаев, когда алгоритм объявил . И наоборот, отзыв - это доля событий, где мы правильно объявили из всех случаев, когда истинным состоянием мира является .я я $i$$i$$i$$i$

Хорошая сводная статья, в которой рассматриваются эти метрики для многоклассовых задач:

• Соколова М. & Лапалме Г. (2009). Систематический анализ показателей эффективности для задач классификации. Обработка информации и управление, 45 , с. 427-437. ( pdf )

Аннотация гласит:

В этой статье представлен систематический анализ двадцати четырех показателей эффективности, используемых в полном спектре классификационных задач машинного обучения, т. Е. Двоичных, мультиклассовых, многокомпонентных и иерархических. Для каждой задачи классификации исследование связывает ряд изменений в матрице путаницы с конкретными характеристиками данных. Затем анализ концентрируется на типе изменений в матрице путаницы, которые не изменяют меру, поэтому сохраняют оценку классификатора (неизменность меры). Результатом является мера таксономии инвариантности меры в отношении всех соответствующих изменений распределения меток в задаче классификации. Этот формальный анализ подтверждается примерами приложений, в которых свойства инвариантности мер приводят к более надежной оценке классификаторов.

Используя sklearn и numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Чтобы получить общие показатели точности и отзыва, используйте затем

np.mean(recall)
np.mean(precision)