Вопросы с тегом «scoring-rules»

Это общий вопрос, который косвенно задавался здесь несколько раз, но в нем нет ни одного авторитетного ответа. Было бы здорово иметь подробный ответ на этот вопрос для справки. Точность , доля правильных классификаций среди всех классификаций, является очень простой и очень «интуитивно понятной» мерой, однако она может быть плохой мерой …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

В последнее время я много размышлял о «проблеме дисбаланса классов» в машинном / статистическом обучении и все глубже погружаюсь в ощущение, что я просто не понимаю, что происходит. Сначала позвольте мне определить (или попытаться) определить мои термины: Проблема дисбаланса классов в машинном / статистическом обучении заключается в том, что некоторые …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Я перекрестно проверяю модель, которая пытается предсказать счет. Если бы это была проблема бинарной классификации, я бы вычислял AUC вне складывания, а если бы это была проблема регрессии, я бы вычислял среднеквадратичное среднеквадратичное значение или MAE. Для модели Пуассона какие метрики ошибок я могу использовать для оценки «точности» прогнозов вне …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) пишут: Чтобы формально определить правильное правило оценки, пусть будет вероятностным прогнозом испытания Бернулли с истинной вероятностью успеха . Правильные правила оценки - это метрики, ожидаемые значения которых сведены к минимуму, если .ееfdddппpе= резнак равнопf = p Я понимаю, что это хорошо, потому что мы хотим побудить …

27 classification  forecasting  scoring-rules 

Я недавно закончил соревнование Kaggle, в котором по требованию соревнования использовался roc auc. До этого проекта я обычно использовал показатель f1 в качестве метрики для измерения производительности модели. В будущем мне будет интересно, как выбрать между этими двумя показателями? Когда использовать какие и каковы их плюсы и минусы? Кстати, я …

26 machine-learning  modeling  roc  scoring-rules 

В большинстве ресурсов о правильных правилах оценки упоминается ряд различных правил оценки, таких как потеря журнала, оценка Бриера или сферическая оценка. Тем не менее, они часто не дают больших указаний на различия между ними. (Приложение A: Википедия .) Выбор модели, которая максимизирует логарифмическую оценку, соответствует выбору модели максимального правдоподобия, которая …

22 machine-learning  classification  model-selection  theory  scoring-rules 

Во-первых, он дает вероятность результатов. Так, например, его прогнозы на выборах в США в настоящее время составляют 82% Клинтона против 18% Трампа. Теперь, даже если Трамп выиграет, как я узнаю, что выиграть должен был не только 18% времени? Другая проблема заключается в том, что его вероятности меняются со временем. Итак, …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Правильное правило подсчета очков - это правило, которое максимизируется «истинной» моделью, и оно не позволяет «хеджировать» или разыгрывать систему (преднамеренно сообщая о различных результатах, как и истинное убеждение модели в улучшении оценки). Оценка Бриера правильная, точность (пропорция классифицирована правильно) неуместна и часто не рекомендуется. Иногда я вижу, что AUC называют …

16 classification  references  roc  measurement-error  scoring-rules 

Недавно я узнал о правильных правилах оценки вероятностных классификаторов. Несколько потоков на этом сайте подчеркивали, что точность является неправильным правилом оценки и не должна использоваться для оценки качества прогнозов, генерируемых вероятностной моделью, такой как логистическая регрессия. Тем не менее, довольно много научных статей, которые я читал, приводили потерю из-за неправильной …

13 probability  accuracy  scoring-rules 

Предпосылки: Здесь есть несколько замечательных вопросов / ответов о том, как калибровать модели, которые предсказывают вероятности того или иного исхода. Например Оценка Бриера и ее разложение на разрешение, неопределенность и надежность . Калибровочные графики и изотоническая регрессия . Эти методы часто требуют использования метода биннинга для прогнозируемых вероятностей, так что …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Вчерашний вопрос « Определить точность модели, которая оценивает вероятность события» , заинтересовал меня оценкой вероятности. Оценка Бриера - это мера среднего квадрата ошибки. Показывает ли аналогичная средняя абсолютная погрешность показатели эффективности есть имя тоже?11NΣя = 1N( Р г е дя с т я о пя- р е фe r e …

12 classification  error  validation  scoring-rules  brier-score 

Я моделирую событие с двумя исходами, а и б. Я создал модель, которая оценивает вероятность того, что a или b произойдут (то есть модель рассчитает, что a произойдет с вероятностью 40%, а b произойдет с вероятностью 60%). У меня есть большая запись результатов испытаний с оценками из модели. Я хотел …

12 predictive-models  scoring-rules 

Я программирую и занимаюсь разработкой на основе тестов. После внесения изменений в код я запускаю свои тесты. Иногда они добиваются успеха, а иногда они терпят неудачу. Перед запуском теста я записываю число от 0,01 до 0,99, чтобы удостовериться, что тест пройдёт успешно. Я хочу знать, улучшаю ли я прогнозирование того, …

10 forecasting  decision-theory  calibration  scoring-rules 

Примеры: у меня есть предложение в должностной инструкции: «Старший инженер Java в Великобритании». Я хочу использовать модель глубокого обучения, чтобы предсказать ее как 2 категории: English и IT jobs. Если я использую традиционную классификационную модель, она может предсказать только 1 метку с softmaxфункцией на последнем слое. Таким образом, я могу …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Типичный подход к решению проблемы классификации состоит в том, чтобы идентифицировать класс моделей-кандидатов, а затем выполнить выбор модели с использованием некоторой процедуры, такой как перекрестная проверка. Обычно выбирается модель с наивысшей точностью или некоторая связанная функция, которая кодирует информацию о проблеме, например FβFβ\text{F}_\beta . Предполагая, что конечной целью является создание …

9 machine-learning  model-selection  error  scoring-rules