Другими словами, вместо того, чтобы иметь проблему с двумя классами, я имею дело с 4 классами и все еще хотел бы оценить производительность, используя AUC.
Ответы:
Кажется, вы ищете многоклассный ROC-анализ, который является своего рода многоцелевой оптимизацией, описанной в руководстве на ICML'04. Как и в случае нескольких мультиклассовых задач, идея, как правило, заключается в проведении парного сравнения (один класс со всеми другими классами, один класс против другого класса, см. (1) или Элементы статистического обучения ), и в последнее время статья Ландгреба и Дуина на эту тему « Приближение мультиклассового ROC путем парного анализа» , Letters Recognition Letters 2007 28: 1747-1758. Теперь, для наглядности, я видел несколько работ некоторое время назад, большинство из которых вращаются вокруг объема под ROC-поверхностью (VUS) или диаграммой Паутины .
Однако я не знаю, существует ли реализация этих методов на R, хотя я думаю, что эта stars()функция могла бы использоваться для построения паутины. Я только что наткнулся на набор инструментов Matlab, который, кажется, предлагает многоуровневый анализ ROC, PRSD Studio .
Другие документы, которые также могут быть полезны в качестве первого начала для визуализации / вычисления:
Список литературы:
1. Allwein, EL, Schapire, RE и Singer, Y. (2000). Сокращение мультикласса до бинарного: унифицирующий подход для классификаторов маржи. Журнал исследований машинного обучения , 1 : 113–141.
Недавно я нашел этот пакет pROC в R, который строит мультиклассовый ROC, используя технику, определенную Hand and Till (2001) . Вы можете использовать функцию multiclass.roc.
Ответы здесь довольно полны, но я все же хотел бы добавить свои 5 центов. В этом вопросе вы можете найти пример кода R для создания кривых ROC с использованием подхода One-Vs-All и библиотеки ROCR R.
Это сюжет из этого ответа:
Хотя математика мне не подходит, в этой общей обзорной статье есть некоторые ссылки, которые вам, вероятно, будут интересны, и краткое описание многоклассовых графов ROC.
Введение в анализ ROC Тома Фосетта Письма о распознавании образов Том 27, Выпуск 8, июнь 2006 г., стр. 861-874
Ссылка на PDF, предоставленная gd047 - спасибо