Что такое «базовый уровень» в кривой точного отзыва

15

Я пытаюсь понять точную кривую отзыва, я понимаю, что такое точность и отзыв, но не понимаю, что такое базовое значение. Я читал эту ссылку https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/

и я не понимаю часть базовой линии, как показано в «Кривая точного восстановления идеального классификатора», что она делает? и как мы это вычисляем? Это просто случайная базовая линия, которую мы выбираем? Например, у меня есть данные Twitter с такими атрибутами, как retweet,status_countetc, и моя метка класса равна Favorited1, если Favorited, и 0, если не Favorited, и я применяю наивный байесовский метод, и теперь я хочу нарисовать кривую точности-отзыва, как мне установить базовую линию в этом случае ?

r machine-learning classification precision-recall

— hyeri
источник

13

«Кривая базовой линии» на графике кривой PR представляет собой горизонтальную линию с высотой, равной количеству положительных примеров по общему количеству обучающих данных , т.е. доля положительных примеров в наших данных ( $P$ $N$ ) $\frac{P}{N}$

Хорошо, почему это так? Давайте предположим , что у нас есть «нездоровый классификатор» . возвращает случайную вероятность к -ая выборка , например , чтобы быть в классе . Для удобства, скажем , . Прямое следствие этого случайного назначения класса состоит в том, что будет иметь (ожидаемую) точность, равную доле положительных примеров в наших данных. Это только естественно; любая абсолютно случайная выборка наших данных будет иметь $C_J$ $C_J$ $p_i$ $i$ $y_i$ $A$ $p_i \sim U[0,1]$ $C_J$ правильно классифицированных примеров. Это будет справедливо для любого порогового значения вероятностимы могли бы использоватькачестве границы решения для вероятностей членов классавозвращаемых. (обозначает значение вгде значения вероятности, большие или равные, классифицируются в классе) С другой стороны, характеристика отзыва(в ожидании) равнаесли. На любом заданном пороге $E\{\frac{P}{N}\}$ $q$ $C_J$ $q$ $[0,1]$ $q$ $A$ $C_J$ $q$ $p_i \sim U[0,1]$ мы выберем (приблизительно) наших общих данных, которые впоследствии будут содержать (приблизительно) от общего числа экземпляров класса в выборке. Отсюда и горизонтальная линия, о которой мы упоминали в начале! Для каждого значения отзыва (значения на графике PR) соответствующее значение точности (значения на графике PR) равно $q$ $(100(1-q))\%$ $(100(1-q))\%$ $A$ $x$ $y$ . $\frac{P}{N}$

Быстрое боковое Примечание: Порог является не обычно равно 1 минус ожидаемого отзыв. Это происходит в случае упомянутого выше, только из-за случайного равномерного распределения результатов ; для другого распределения (например, ) это приближенное отношение тождества между и отзывом не выполняется; был использован потому, что его проще всего понять и мысленно визуализировать. Для другого случайного распределения в $q$ $C_J$ $C_J$ $p_i \sim B(2,5)$ $q$ $U[0,1]$ профиль PR не изменится. Изменится только размещение значений PR для данныхзначений . $[0,1]$ $C_J$ $q$

Теперь, что касается идеального классификатора , можно было бы указать классификатор, который возвращает вероятность для экземпляра выборки класса если действительно находится в классе и дополнительно возвращает вероятность если не является членом класса. . Это подразумевает, что для любого порога мы будем иметь точность (т.е. в терминах графа мы получим линию, начинающуюся с точностью ). Единственный момент мы не получаем $C_P$ $1$ $y_i$ $A$ $y_i$ $A$ $C_P$ $0$ $y_i$ $A$ $q$ $100\%$ $100\%$ точности при . При точность падает до доли положительных примеров в наших данных ( $100\%$ $q = 0$ $q=0$ )как (душевнобольно?) Классифицировать даже точки свероятностью того классакак в классе. График PRимеет только два возможных значения для его точности,и $\frac{P}{N}$ $0$ $A$ $A$ $C_P$ $1$ . $\frac{P}{N}$

ОК и немного кода R, чтобы увидеть это на собственном опыте с примером, где положительные значения соответствуют нашей выборки. Обратите внимание , что мы делаем «мягкое» присвоение класса категории в том смысле , что значение вероятности , связанное с каждой точкой квантифицирует для нашей уверенности в том , что эта точке принадлежит классу . $40\%$ $A$

  rm(list= ls())
  library(PRROC)
  N = 40000
  set.seed(444)
  propOfPos = 0.40
  trueLabels = rbinom(N,1,propOfPos)
  randomProbsB = rbeta(n = N, 2, 5) 
  randomProbsU = runif(n = N)  

  # Junk classifier with beta distribution random results
  pr1B <- pr.curve(scores.class0 = randomProbsB[trueLabels == 1], 
                   scores.class1 = randomProbsB[trueLabels == 0], curve = TRUE) 
  # Junk classifier with uniformly distribution random results
  pr1U <- pr.curve(scores.class0 = randomProbsU[trueLabels == 1], 
                   scores.class1 = randomProbsU[trueLabels == 0], curve = TRUE) 
  # Perfect classifier with prob. 1 for positives and prob. 0 for negatives.
  pr2 <- pr.curve(scores.class0 = rep(1, times= N*propOfPos), 
                  scores.class1 = rep(0, times = N*(1-propOfPos)), curve = TRUE)

  par(mfrow=c(1,3))
  plot(pr1U, main ='"Junk" classifier (Unif(0,1))', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.50)),c(1,2)];
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr1B, main ='"Junk" classifier (Beta(2,5))', auc.main= FALSE,
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.50)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr2, main = '"Perfect" classifier', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);

где черные круги и треугольники обозначают и соответственно на первых двух графиках. Мы сразу видим, что классификаторы «мусора» быстро идут с точностью, равной $q =0.50$ $q=0.20$ ; Точно так же идеальный классификатор имеет точностьдля всех переменных отзыва. Неудивительно, что AUCPR для классификатора «мусор» равен доле положительного примера в нашей выборке (), а AUCPR для «идеального классификатора» примерно равен. $\frac{P}{N}$ $1$ $\approx 0.40$ $1$

Реально PR-граф идеального классификатора немного бесполезен, потому что никогда не может иметь отзывов (мы никогда не предсказываем только отрицательный класс); мы просто начинаем рисовать линию из верхнего левого угла, как условно. Строго говоря, он должен показывать только две точки, но это приведет к ужасной кривой. : D $0$

Для справки, в CV уже есть очень хороший ответ относительно полезности кривых PR: здесь , здесь и здесь . Просто внимательно прочитав их, вы получите хорошее общее представление о кривых PR.

— usεr11852
источник

1

Присоединяйся к этому сообществу только для того, чтобы я мог проголосовать. Это отличное объяснение концепции базовой линии в точных кривых отзыва. Как биоинформатик я нашел это чрезвычайно полезным.

— Джим

1

@jimh: Спасибо, очень приятно это слышать. Я рад, что сообщение было полезным.

— usεr11852

Я знаю, что это не комментарий, который приносит полезную информацию, но я хотел бы поблагодарить вас за подробное и открытое объяснение.

— Рик S

0

Great answer above. Here is my intuitive way of thinking about it. Imagine you have a bunch of balls red = positive and yellow = negative, and you throw them randomly into a bucket = positive fraction. Then if you have the same number of red and yellow balls, when you calculate PREC=tp/tp+fp=100/100+100 from your bucket red (positive) = yellow (negative), therefore, PREC=0.5. However, if I had 1000 red balls and 100 yellow balls, then in the bucket I would randomly expect PREC=tp/tp+fp=1000/1000+100=0.91 because that is the chance baseline in the positive fraction which is also RP/RP+RN, where RP = real positive and RN = real negative.

— Christopher John
источник