Вопросы с тегом «precision-recall»

Я понимаю формальные различия между ними, и я хочу знать, когда более уместно использовать одно против другого. Всегда ли они дают дополнительное представление о производительности данной системы классификации / обнаружения? Когда разумно представить их обоих, скажем, в газете? вместо одного? Существуют ли альтернативные (возможно, более современные) дескрипторы, которые отражают соответствующие …

159 machine-learning  roc  precision-recall 

Интересно, как вычислить точность и вспомнить использование путаницы для решения задачи классификации нескольких классов. В частности, наблюдение может быть назначено только его наиболее вероятному классу / метке. Я хотел бы вычислить: Точность = TP / (TP + FP) Напомним = TP / (TP + FN) для каждого класса, а затем …

92 machine-learning  classification  precision-recall  multi-class 

Мне интересно, как рассчитать точность и вспомнить меры для мультиклассовой классификации с несколькими метками, то есть классификации, где существует более двух меток, и где каждый экземпляр может иметь несколько меток?

72 machine-learning  classification  precision-recall  multi-class 

Я хотел бы знать, как интерпретировать разницу значений f-меры. Я знаю, что f-мера - это сбалансированное среднее между точностью и отзывом, но я спрашиваю о практическом значении различия в F-мерах. Например, если классификатор C1 имеет точность 0,4, а другой классификатор C2 - 0,8, то можно сказать, что C2 правильно классифицировал …

41 classification  precision-recall 

У меня есть задача классификации, где у меня есть несколько предикторов (один из которых является наиболее информативным), и я использую модель MARS для построения моего классификатора (меня интересует любая простая модель, и использование glms для иллюстративных целей будет тоже хорошо). Теперь у меня огромный дисбаланс классов в данных обучения (около …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Ниже приведен пример, извлеченный из документации sklearn.metrics.classification_report. Что я не понимаю, так это то, почему существуют значения f1-показателя, точности и отзыва для каждого класса, где я считаю, что класс является меткой предиктора? Я думал, что оценка f1 говорит вам об общей точности модели. Кроме того, что говорит нам колонка поддержки? …

30 machine-learning  python  scikit-learn  precision-recall 

Является ли средняя точность (AP) областью под кривой точного восстановления (AUC PR-кривой)? РЕДАКТИРОВАТЬ: Вот некоторые комментарии о разнице в PR AUC и AP. AUC получается путем трапецеидальной интерполяции точности. Альтернативным и обычно почти эквивалентным показателем является Средняя точность (AP), возвращаемая как info.ap. Это среднее значение точности, получаемой каждый раз, когда …

27 scikit-learn  precision-recall  auc  average-precision 

Я был озадачен различием между показателем F1, значением Dice и IoU (пересечение по объединению). К настоящему времени я обнаружил, что F1 и Dice означают одно и то же (верно?), И у IoU есть формула, очень похожая на две другие. F1 / Dice: 2TP2TP+FP+FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard: TPTP+FP+FNTPTP+FP+FN\frac{TP}{TP+FP+FN} Существуют ли какие-либо …

24 terminology  accuracy  precision-recall 

Я имею дело с проблемой обнаружения мошенничества (кредитной оценки). Таким образом, существует очень несбалансированная связь между мошенническими и не мошенническими наблюдениями. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html предоставляет большой обзор различных метрик классификации. Precision and Recallили kappaоба кажутся хорошим выбором: Один из способов оправдать результаты таких классификаторов - это сравнить их с результатами базовых классификаторов …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Точность определяется как: p = true positives / (true positives + false positives) Является ли это исправить , что, как true positivesи false positivesподход 0, точность приближается к 1? Тот же вопрос для отзыва: r = true positives / (true positives + false negatives) В настоящее время я выполняю статистический …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Я только что закончил читать эту дискуссию. Они утверждают, что PR AUC лучше, чем ROC AUC по несбалансированному набору данных. Например, у нас есть 10 образцов в тестовом наборе данных. 9 образцов положительные и 1 отрицательный. У нас ужасная модель, которая предсказывает все положительное. Таким образом, у нас будет метрика: …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

У меня есть некоторые сомнения по поводу того, какую меру эффективности использовать: область под кривой ROC (TPR как функция FPR) или область под кривой точности-отзыва (точность как функция отзыва). Мои данные несбалансированы, то есть количество отрицательных экземпляров намного больше, чем положительных. Я использую выходной прогноз Weka, пример: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 …

16 r  machine-learning  roc  precision-recall  auc 

Может ли кто-то резюмировать для меня возможные примеры, в каких ситуациях увеличение обучающих данных улучшает общую систему? Когда мы обнаружим, что добавление большего количества данных для обучения может привести к переопределению данных и не дать точных данных теста? Это очень неспецифичный вопрос, но если вы хотите ответить на него конкретно …

16 machine-learning  classification  dataset  precision-recall 

Точность определяется как: р = истинные позитивы / (истинные позитивы + ложные позитивы) Какое значение точности, если (истинные положительные + ложные положительные) = 0? Это просто не определено? Тот же вопрос для отзыва: r = истинные позитивы / (истинные позитивы + ложные негативы) В этом случае, каково значение отзыва, если …

16 precision-recall 

Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable