Сравнение двух результатов точности классификатора для статистической значимости с t-тестом

Я хочу сравнить точность двух классификаторов по статистической значимости. Оба классификатора работают на одном наборе данных. Это наводит меня на мысль, что я должен использовать один образец t-критерия из того, что я читал .

Например:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Это правильный тест для использования? Если да, то как рассчитать, является ли разница в точности между классификаторами?

Или я должен использовать другой тест?

— Крис
источник

Ответы:

Я бы, наверное, выбрал тест МакНемара, если бы вы тренировали классификаторы только один раз. Дэвид Барбер также предлагает довольно аккуратный байесовский тест, который кажется мне довольно элегантным, но не широко используется (он также упоминается в его книге ).

Просто добавьте, как говорит Питер Флом, ответ почти наверняка «да», просто взглянув на разницу в производительности и размере выборки (я беру в расчет цифры, приведенные для оценки производительности тестового набора, а не тренировочного набора).

Кстати, у Жапковича и Шаха недавно вышла книга «Оценка алгоритмов обучения: перспектива классификации» , я ее не читал, но она выглядит как полезный справочник для подобных проблем.

— Дикран Сумчатый
источник

Я выполняю 10-кратную перекрестную проверку, чтобы получить эти результаты. Означает ли это, что они на самом деле разные наборы данных. Это общий размер, который разделен для теста / поезда в перекрестной проверке

— Крис

Точность для каждого сгиба не будет независимой, что нарушит допущения большинства статистических тестов, но, вероятно, не будет большой проблемой. Я часто использую 100 случайных тренировок / тестовых сплитов, а затем использую парный тест ранкоса Уилкоксона (используйте одинаковые случайные сплиты для обоих классификаторов). Я предпочитаю такого рода тесты, так как я часто использую небольшие наборы данных (так как меня интересует переоснащение), поэтому вариативность между случайными разбиениями имеет тенденцию быть сопоставимой с разницей в производительности между классификаторами.

— Дикран Marsupial

(+1) для парного рангового теста Уилкоксона (и ссылки на книгу ... если ток может выполнить свои обещания, эта книга может стать обязательной для прочтения всех ML: O)

— steffen

Я также использовал знаковые ранговые тесты, а также парные t-тесты для сравнения классификаторов. Однако каждый раз, когда я сообщаю об использовании одностороннего теста для этой цели, мне трудно получить рецензенты, поэтому я перешел к использованию двусторонних тестов!

— BGreene

Учитывая, что OP пояснил в комментариях, что вопрос на самом деле касался перекрестной проверки, рассмотрите, возможно, вы бы расширили свой ответ, чтобы охватить эту тему? Мы можем редактировать Q тогда. Это важная тема, и есть пара очень связанных (или даже дублирующих) вопросов, но ни один из них не имеет хорошего ответа. В вышеприведенном комментарии вы рекомендуете использовать парный тест для оценок CV и говорите, что не думаете, что отсутствие независимости является большой проблемой здесь. Почему нет? Это звучит как потенциально серьезная проблема!

— говорит амеба: восстанови Монику

Я могу сказать вам, даже не предпринимая никаких действий, что разница будет очень статистически значимой. Он проходит IOTT (тест на межглазную травму - он ударяет вас между глазами).

Если вы хотите провести тест, вы можете сделать это как тест двух пропорций - это можно сделать с помощью t-теста с двумя образцами.

Возможно, вы захотите разбить «точность» на составляющие; чувствительность и специфичность или ложноположительные и ложноотрицательные. Во многих приложениях стоимость разных ошибок совершенно разная.

— Питер Флом - Восстановить Монику
источник

Договорились - это явно будет значительным. Nitpick: вы бы использовали

тест для проверки двух пропорций (приблизительно) - это связано с сходимостью биномиального распределения к нормали при увеличении

. См. Раздел 5.2 en.wikipedia.org/wiki/Statistical_hypothesis_testing

z

$z$

n

$n$

— Макрос,

Во-вторых,

тест может все еще быть асимптотически действительным, CLT, но должна быть причина, по которой

тест обычно используется здесь.

t

$t$

z

$z$

— Макрос

Процент точности, который я указал в своем вопросе, является лишь примером.

— Крис

Поскольку в данном случае точность - это доля правильно классифицированных выборок, мы можем применить проверку гипотезы о системе двух пропорций.

Пусть и быть точность , полученные из классификаторов 1 и 2 соответственно, а будет число выборок. Количество выборок, правильно классифицированных в классификаторах 1 и 2, равно и соответственно. $\hat p_1$ $\hat p_2$ $n$ $x_1$ $x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Статистика теста определяется

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ где $\quad\hat p= (x_1+x_2)/2n$

Мы намерены доказать, что общая точность классификатора 2, т. Е. , лучше точности классификатора 1, то есть . Это создает нашу гипотезу как $p_2$ $p_1$

$H_0: p_1 = p_2\quad$ (нулевая гипотеза о том, что оба равны)
$H_a: p_1 < p_2\quad$ (альтернативная гипотеза, утверждающая, что более новая гипотеза лучше существующей)

Область отклонения определяется как

$Z < -z_\alpha \quad$ (если истина отклонить и принять ) $H_0$ $H_a$

где получается из стандартного нормального распределения, которое относится к уровню значимости, . Например, для уровня значимости 5%. Это означает, что если соотношение истинно, то мы можем сказать с 95% уровнем достоверности ( ), что классификатор 2 является более точным, чем классификатор 1. $z_\alpha$ $\alpha$ $z_{0.5} = 1.645$ $Z < -1.645$ $1-\alpha$

Ссылки:

Р. Джонсон и Дж. Фрейнд, Вероятность и статистика Миллера и Фрейнда для инженеров, 8-е изд. Prentice Hall International, 2011. (первоисточник)
Проверка гипотезы-краткой формулы Резюме . (Принято из [1])

— Эбе Исаак
источник

не должны

\hat{p}

$\quad\hat p$

{\hat{p}}_{1}

$\hat p_1$

{\hat{p}}_{2}

$\hat p_2$

\hat{p} = (x_{1} + x_{2}) / 2 n

$\quad\hat p= (x_1+x_2)/2n$

Хотя я согласен с тем, что можно использовать тест на пропорции, в первоначальном вопросе нет ничего, что предполагало бы, что односторонний тест является подходящим. Более того, «мы можем сказать с уверенностью в 95%» - это распространенное заблуждение. Смотрите, например, здесь: metheval.uni-jena.de/lehre/0405-ws/evaluationuebung/haller.pdf

— Франс Роденбург,

@ShivaTp Действительно. Спасибо за указание на столь необходимую коррекцию опечатки. Редактирование подтверждено.

— Ébe Исаак