Вопросы с тегом «roc»

Этот вопрос касается оценки пороговых значений в многомерном скрининговом вопроснике для прогнозирования двоичной конечной точки при наличии коррелированных шкал. Меня спросили об интересе к контролю за ассоциированными подсчетами при разработке предельных баллов по каждому измерению шкалы измерений (личностных черт), которые могут использоваться для скрининга на алкоголизм. То есть, в данном …

20 epidemiology  roc 

Кто-нибудь может объяснить мне реальные различия между регрессионным анализом и подгонкой кривой (линейной и нелинейной), с примером, если это возможно? Кажется, что оба пытаются найти связь между двумя переменными (зависимыми и независимыми), а затем определяют параметр (или коэффициент), связанный с предлагаемыми моделями. Например, если у меня есть набор данных, таких …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Я только что закончил читать эту дискуссию. Они утверждают, что PR AUC лучше, чем ROC AUC по несбалансированному набору данных. Например, у нас есть 10 образцов в тестовом наборе данных. 9 образцов положительные и 1 отрицательный. У нас ужасная модель, которая предсказывает все положительное. Таким образом, у нас будет метрика: …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Правильное правило подсчета очков - это правило, которое максимизируется «истинной» моделью, и оно не позволяет «хеджировать» или разыгрывать систему (преднамеренно сообщая о различных результатах, как и истинное убеждение модели в улучшении оценки). Оценка Бриера правильная, точность (пропорция классифицирована правильно) неуместна и часто не рекомендуется. Иногда я вижу, что AUC называют …

16 classification  references  roc  measurement-error  scoring-rules 

У меня есть некоторые сомнения по поводу того, какую меру эффективности использовать: область под кривой ROC (TPR как функция FPR) или область под кривой точности-отзыва (точность как функция отзыва). Мои данные несбалансированы, то есть количество отрицательных экземпляров намного больше, чем положительных. Я использую выходной прогноз Weka, пример: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 …

16 r  machine-learning  roc  precision-recall  auc 

Я построил кривую ROC для диагностической системы. Площадь под кривой была непараметрически оценена как AUC = 0,89. Когда я попытался вычислить точность при оптимальной настройке порога (точка, ближайшая к точке (0, 1)), я получил точность диагностической системы равной 0,8, что меньше, чем AUC! Когда я проверил точность при другой настройке …

16 roc  reliability  accuracy  auc 

Могут ли значения AUC-ROC находиться в диапазоне 0-0,5? Модель когда-нибудь выводит значения между 0 и 0,5?

16 roc  model-evaluation  auc 

Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Я изучаю курс машинного обучения, и слайды лекций содержат информацию, которая, на мой взгляд, противоречит рекомендуемой книге. Проблема в следующем: существует три классификатора: классификатор А, обеспечивающий лучшую производительность в нижнем диапазоне порогов, классификатор B, обеспечивающий лучшую производительность в более высоком диапазоне порогов, Классификатор C, что мы получаем, подбрасывая p-монету и …

15 machine-learning  probability  data-visualization  classification  roc 

Предположим, что я построил модель прогнозирования возникновения конкретной болезни в одном наборе данных (набор данных построения модели) и теперь хочу проверить, насколько хорошо модель работает в новом наборе данных (набор данных проверки). Для модели, построенной с логистической регрессией, я рассчитал бы прогнозируемую вероятность для каждого человека в наборе данных проверки …

15 predictive-models  cross-validation  survival  roc 

В чем преимущества кривых ROC? Например, я классифицирую некоторые изображения, что является проблемой двоичной классификации. Я выделил около 500 объектов и применил алгоритм выбора объектов, чтобы выбрать набор функций, а затем применил SVM для классификации. В этом случае, как я могу получить кривую ROC? Должен ли я изменить пороговые значения …

15 machine-learning  roc 

Я планирую использовать повторную (10 раз) стратифицированную 10-кратную перекрестную проверку примерно в 10 000 случаев с использованием алгоритма машинного обучения. Каждый раз повторение будет сделано с разными случайными семенами. В этом процессе я создаю 10 экземпляров вероятностных оценок для каждого случая. 1 случай оценки вероятности для каждого из 10 повторений …

15 roc 

У меня есть тестовый набор из 100 случаев и два классификатора. Я генерировал прогнозы и вычислял ROC AUC, чувствительность и специфичность для обоих классификаторов. Вопрос 1: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по всем показателям (ROC AUC, чувствительность, специфичность)? Теперь для одного …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Я применил логистическую регрессию к своим данным в SAS, и вот кривая ROC и таблица классификации. Я доволен цифрами в таблице классификации, но не совсем уверен, что показывают кривая Рока и область под ней. Любое объяснение будет с благодарностью.

14 regression  logistic  classification  roc 

Я пытаюсь понять, как вычислить оптимальную точку отсечения для кривой ROC (значение, при котором чувствительность и специфичность максимальны). Я использую набор данных aSAHиз пакета pROC. outcomeПеременная может быть объяснено двумя независимыми переменными: s100bи ndka. Используя синтаксис Epiпакета, я создал две модели: library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) Вывод иллюстрируется на …

14 r  roc  sensitivity-analysis  sensitivity-specificity