Вопросы с тегом «roc»

Почему область под кривой ROC является вероятностью того, что классификатор оценит случайно выбранный «положительный» экземпляр (из полученных предсказаний) выше, чем случайно выбранный «положительный» (из исходного положительного класса)? Как можно доказать это утверждение математически, используя интеграл, давая CDF и PDF истинных положительных и отрицательных распределений классов?

14 probability  roc  auc 

Обычно в логистической регрессии мы подбираем модель и получаем некоторые прогнозы на тренировочном наборе. Затем мы проводим перекрестную проверку этих прогнозов обучения (что-то вроде этого ) и определяем оптимальное пороговое значение на основе чего-то вроде кривой ROC. Почему бы нам не включить перекрестную проверку порогового значения в реальную модель и …

13 logistic  cross-validation  optimization  roc  threshold 

Одна общая мера, используемая для сравнения двух или более классификационных моделей, заключается в использовании площади под кривой ROC (AUC) в качестве способа косвенной оценки их эффективности. В этом случае модель с большим AUC обычно интерпретируется как работающая лучше, чем модель с меньшим AUC. Но, согласно Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), …

13 machine-learning  classification  roc  auc  model-evaluation 

Я получил модель логистической регрессии (через train) для бинарного ответа, и я получил логистическую матрицу спутанности через confusionMatrixв caret. Это дает мне путаницу в логистической модели, хотя я не уверен, какой порог используется для ее получения. Как получить матрицу путаницы для определенных пороговых значений, используя confusionMatrixin caret?

13 r  classification  roc  caret  confusion-matrix 

Я работаю над логистической моделью, и у меня возникают трудности с оценкой результатов. Моя модель - биномиальный логит. Мои объяснительные переменные: категориальная переменная с 15 уровнями, дихотомическая переменная и 2 непрерывные переменные. Мой N большой> 8000. Я пытаюсь смоделировать решение фирм инвестировать. Зависимая переменная - это инвестиции (да / нет), …

13 r  logistic  goodness-of-fit  roc 

Мы использовали для создания кривой GINI, используя лифт, созданный с помощью процента хороших и плохих для моделирования системы показателей. Но то, что я изучил, это то, что кривая ROC создается с использованием матрицы путаницы со спецификой (1- истинный отрицательный) в качестве оси x и чувствительностью (истинный положительный) в качестве оси …

13 roc  gini 

Обычно мы не можем нарисовать ROC-кривую для дискретных классификаторов, таких как деревья решений. Я прав? Есть ли способ нарисовать ROC-кривую для Dtrees?

13 roc  cart 

В машинном обучении мы можем использовать область под кривой ROC (часто сокращенно AUC или AUROC), чтобы суммировать, насколько хорошо система может различать две категории. В теории обнаружения сигналов часто (индекс чувствительности) используется для аналогичной цели. Эти два тесно связаны, и я считаю, что они эквивалентны друг другу, если определенные предположения …

13 machine-learning  roc  auc  signal-detection  d-prime 

Я сталкиваюсь с коэффициентом Кости для сходства объема ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) и точности ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Мне кажется, что эти две меры одинаковы. Какие-нибудь мысли?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Я изо всех сил пытаюсь найти способ вычислить значение p для области под характеристикой оператора приемника (ROC). У меня есть непрерывная переменная и результат диагностического теста. Я хочу посмотреть, является ли AUROC статистически значимым. Я нашел много пакетов, имеющих дело с кривыми ROC: pROC, ROCR, caTools, верификация, Epi. Но даже …

12 r  p-value  roc 

Я запускаю двоичный классификатор в данный момент. Когда я строю кривую ROC, вначале я получаю хороший подъем, затем он меняет направление и пересекает диагональ, затем, конечно, обратно, делая кривую наклонной S-образной формы. Что может быть интерпретацией / объяснением этого эффекта? Благодарность

12 roc 

Когда вы будете склонны использовать кривые ROC над некоторыми другими тестами, чтобы определить прогнозирующую способность какого-либо измерения результата? При работе с дискретными результатами (живыми / мертвыми, присутствующими / отсутствующими), что делает кривые ROC более или менее мощными, чем что-то вроде хи-квадрата?

12 regression  roc 

У меня есть 100 000 наблюдений (9 фиктивных переменных индикатора) с 1000 положительных результатов. Логистическая регрессия должна работать нормально в этом случае, но вероятность отсечения озадачивает меня. В обычной литературе мы выбираем 50% -ное сокращение, чтобы предсказать 1 и 0. Я не могу этого сделать, так как моя модель дает …

11 regression  logistic  classification  generalized-linear-model  roc 

Я хотел бы сравнить 2 разных классификатора для задачи классификации текстов с несколькими классами, которые используют большие обучающие наборы данных. Я сомневаюсь, должен ли я использовать кривые ROC или кривые обучения, чтобы сравнить 2 классификатора. С одной стороны, кривые обучения полезны для определения размера набора обучающих данных, поскольку вы можете …

11 machine-learning  classification  roc  accuracy 

Я прочитал эту подпись в газете и никогда не видел, чтобы AUC описывали таким образом где-либо еще. Это правда? Есть ли доказательство или простой способ увидеть это? На рис. 2 показана точность прогнозирования дихотомических переменных, выраженная в терминах площади под кривой рабочих характеристик приемника (AUC), которая эквивалентна вероятности правильной классификации …

11 classification  roc  auc