Вопросы с тегом «calibration»

Предположим, у меня есть прогностическая модель, которая выдает для каждого случая вероятность для каждого класса. Теперь я признаю, что есть много способов оценить такую ​​модель, если я хочу использовать эти вероятности для классификации (точность, отзыв и т. Д.). Я также признаю, что кривая ROC и область под ней могут использоваться …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Для калибровки уровня достоверности по вероятности в контролируемом обучении (скажем, для сопоставления достоверности из SVM или дерева решений с использованием данных с избыточной дискретизацией) одним из методов является использование масштабирования Платта (например, получение калиброванных вероятностей из повышения ). В основном каждый использует логистическую регрессию для отображения до [ 0 ; …

17 logistic  cross-validation  calibration 

Я хотел бы получить совет по объединению калибровочных графиков / статистики после многократного вменения. В условиях разработки статистических моделей для прогнозирования будущего события (например, с использованием данных из больничных записей для прогнозирования выживаемости или событий после выписки из больницы) можно предположить, что существует некоторая или много недостающей информации. Множественное вменение …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Scikit имеет CalibratedClassifierCV , который позволяет нам калибровать наши модели по определенной паре X, Y. В нем также четко указано, чтоdata for fitting the classifier and for calibrating it must be disjoint. Если они должны быть непересекающимися, законно ли обучать классификатор следующим? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Я боюсь, что, …

14 cross-validation  scikit-learn  validation  train  calibration 

Предпосылки: Здесь есть несколько замечательных вопросов / ответов о том, как калибровать модели, которые предсказывают вероятности того или иного исхода. Например Оценка Бриера и ее разложение на разрешение, неопределенность и надежность . Калибровочные графики и изотоническая регрессия . Эти методы часто требуют использования метода биннинга для прогнозируемых вероятностей, так что …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Я программирую и занимаюсь разработкой на основе тестов. После внесения изменений в код я запускаю свои тесты. Иногда они добиваются успеха, а иногда они терпят неудачу. Перед запуском теста я записываю число от 0,01 до 0,99, чтобы удостовериться, что тест пройдёт успешно. Я хочу знать, улучшаю ли я прогнозирование того, …

10 forecasting  decision-theory  calibration  scoring-rules 

В scikit изучают документы по калибровке вероятности, они сравнивают логистическую регрессию с другими методами и отмечают, что случайный лес менее хорошо откалиброван, чем логистическая регрессия. Почему логистическая регрессия хорошо откалибрована? Как можно испортить калибровку логистической регрессии (а не то, что кто-то хотел бы - просто как упражнение)?

9 regression  logistic  calibration