Рассчитать кривую ROC для данных

Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Моя путаница заключается в том, что я действительно не уверен, как сделать из этих данных кривую ROC (FPR против TPR или FAR против FRR). Неважно, какой именно, но я просто не понимаю, как рассчитать его. Любая помощь будет оценена.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

— rohanbk
источник

Здесь stats.stackexchange.com/a/105577/49130 вы можете найти дополнительную информацию о том, как нарисовать кривую ROC

— Алексей Григорьев

Ответы:

Я предлагаю ROC-графики: заметки и практические рекомендации для исследователей Тома Фосетта, действительно отличное чтение. Насколько я понимаю ваш вопрос, вы найдете все, что вам нужно в этой статье.

Изменить: Вдохновленный Адамом, я также хочу порекомендовать мой любимый R-пакет для этой задачи: ROCR .

— Штеффен
источник

Знаете ли вы какие-нибудь хорошие пакеты Matlab, которые могут сделать работу?

— rohanbk

@rohanbk Извините, нет. Прошло много времени с тех пор, как я использовал matlab.

— Штеффен

Ссылка @steffen не работает.

— Alleo

@ Alleo спасибо за уведомление, ссылка теперь указывает на citeseer (где pdf доступен) ... это должно длиться дольше.

— Штеффен

Почему вы хотите сделать кривую ROC? Хотите ли вы построить график кривой для зависимых переменных или хотите использовать ее в качестве тестовой статистики, чтобы измерить точность ваших вероятностных прогнозов (в этом случае вы ищете AUC [область под кривой] ).

Если вы знакомы с R, пакет верификации в R имеет две функции, которые вы найдете полезными: roc.plot (), которая позволит вам построить кривую ROC, и roc.area (), которая позволит вам рассчитать АУК.

— Адам
источник

Знаете ли вы какие-нибудь хорошие пакеты Matlab, которые могут сделать работу?

— rohanbk