Как определить качество мультиклассового классификатора

Данный

• набор данных с экземплярами $x_i$ вместе с $N$ классами, где каждый экземпляр $x_i$ принадлежит ровно одному классу $y_i$
• мультиклассовый классификатор

После обучения и тестирования у меня в основном есть таблица с истинным классом $y_i$ и прогнозируемым классом $a_i$ для каждого экземпляра $x_i$ в наборе тестов. Так что для каждого случая у меня есть либо совпадение ( $y_i= a_i$ ), либо промах ( $y_i\neq a_i$ ).

Как я могу оценить качество матча? Проблема состоит в том, что некоторые классы могут иметь много членов, то есть много экземпляров принадлежат ему. Очевидно, что если 50% всех точек данных принадлежат одному классу, а мой окончательный классификатор в целом верен на 50%, я ничего не получил. С таким же успехом я мог бы создать тривиальный классификатор, который выводит этот самый большой класс, независимо от того, что вводит.

Существует ли стандартный метод оценки качества классификатора на основе известных результатов тестирования совпадений и совпадений для каждого класса? Может быть, даже важно различать показатели соответствия для каждого конкретного класса?

Самый простой подход, который я могу придумать, состоит в том, чтобы исключить правильные совпадения самого большого класса. Что-то еще?

Как и двоичная классификация, вы можете использовать эмпирическую частоту ошибок для оценки качества вашего классификатора. Пусть будет классификатором, а x i и y i будут соответственно примером в вашей базе данных и ее классе. e r r ( g ) = $g$$x_i$$y_i$ как вы сказали, когда классы несбалансированные, базовый уровень не 50%а доля большего класса. Вы можете добавить вес в каждом классе, чтобы сбалансировать ошибку. ПустьWy- вес классаy. Установите веса так, чтобы

$$err(g) = \frac{1}{n} \sum_{i \leq n} \mathbb{1}_{g(x_i) \neq y_i}$$ $W_y$$y$и определимвзвешенную эмпирическую ошибкуerrW(g)=$\frac{1}{W_y} \sim \frac{1}{n}\sum_{i \leq n} \mathbb{1}_{y_i = y}$ $$err_W(g) = \frac{1}{n} \sum_{i \leq n} W_{y_i} \mathbb{1}_{g(x_i) \neq y_i}$$

Как сказал Штеффен, путаница может быть хорошим способом оценки качества классификатора. В двоичном случае вы можете получить некоторую меру из этой матрицы, такую ​​как чувствительность и специфичность, оценивая способность классификатора обнаруживать конкретный класс. Источником ошибки классификатора может быть конкретный способ. Например, классификатор может быть слишком уверенным при прогнозировании 1, но никогда не говорить неверно при прогнозировании 0. Многие классификаторы могут быть параметризованы для управления этой скоростью (ложные срабатывания по сравнению с ложными отрицаниями), и тогда вас интересует качество вся семья классификаторов, а не одна. Отсюда вы можете построить кривую ROC , а измерение площади под кривой ROC даст вам качество этих классификаторов.

Кривые ROC могут быть расширены для вашей задачи мультикласса. Предлагаю вам прочитать ответ этой ветки .

Для оценки систем многостраничной классификации текста я использую микро- и макро-усредненные F1 (F-мера). F-мера - это взвешенная комбинация точности и напомним это. Для бинарной классификации, микро и макро подходы одинаковы, но я думаю, что в случае с несколькими путями они могут вам помочь. Вы можете думать о Micro F1 как о взвешенной комбинации точности и отзыва, которая придает равный вес каждому документу, в то время как Macro F1 дает одинаковый вес каждому классу. Для каждого уравнение F-меры одинаково, но вы вычисляете точность и вызываете по-разному:

$$F = \frac{(\beta^{2} + 1)PR}{\beta^{2}P+R},$$

$\beta$

$$P_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FP_{i}}, R_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FN_{i}}$$

$$P_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FP_{i}}, R_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FN_{i}}$$

$TP$$FP$$FN$$C$

# Function in R, using precision, recall and F statistics

check.model.accuracy <- function(predicted.class, actual.class){

  result.tbl <- as.data.frame(table(predicted.class,actual.class ) ) 

  result.tbl$Var1 <- as.character(result.tbl$predicted.class)
  result.tbl$Var2 <- as.character(result.tbl$actual.class)

  colnames(result.tbl)[1:2] <- c("Pred","Act")

  cntr <- 0  
  for (pred.class in unique(result.tbl$Pred) ){
    cntr <- cntr+ 1
    tp <- sum(result.tbl[result.tbl$Pred==pred.class & result.tbl$Act==pred.class, "Freq"])
    tp.fp <- sum(result.tbl[result.tbl$Pred == pred.class , "Freq" ])
    tp.fn <- sum(result.tbl[result.tbl$Act == pred.class , "Freq" ])
    presi <- tp/tp.fp 
    rec <- tp/tp.fn
    F.score <- 2*presi*rec/(presi+rec)
    if (cntr == 1 ) F.score.row <- cbind(pred.class, presi,rec,F.score)
    if (cntr > 1 ) F.score.row <- rbind(F.score.row,cbind(pred.class,presi,rec,F.score))
  }

  F.score.row <- as.data.frame(F.score.row) 
  return(F.score.row)
}

check.model.accuracy(predicted.df,actual.df) 
# For multiclass, average across all classes