Я прочитал лемму Неймана – Пирсона из книги « Введение в теорию статистики », написанной Мудом, Грейбиллом и Боесом. Но я не понял лемму.

Может ли кто-нибудь объяснить мне лемму в простых словах? Что это заявляет?

Лемма Неймана-Пирсона. Пусть $X_1,\ldots,X_n$ - случайная выборка из $f(x;\theta)$ , где $\theta$ - одно из двух известных значений $\theta_0$ и $\theta_1$ , и пусть $0<\alpha<1$ фиксировано.

Пусть $k^*$ положительная константа и $C^*$ быть подмножество $\mathscr X$ , которые удовлетворяют:

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ Тогда критерий$\gamma^*$ соответствующий критической области$C^*$ является наиболее мощным критерием размера$\alpha$ для$\mathscr H_0:\theta=\theta_0$ сравнению с$\mathscr H_1:\theta=\theta_1$

Выраженный словами, я понял, что два критерия определяют

(1) P [отклонение нулевой гипотезы | нулевая гипотеза верна] = уровень значимости

(2) отвергнуть нулевую гипотезу, когда отношение правдоподобия , $\lambda\le$ некоторой положительной постоянной $k^*$ если $(x_1,\ldots,x_n)$ попадают в критическую область

Тогда тест является самым мощным тестом из простой гипотезы .

• Почему это только для простых гипотез? Разве это не может быть сложная гипотеза? Правильно ли мое объяснение словами?

Я думаю, вы хорошо поняли лемму.

Почему это не работает для составной альтернативы? Как вы можете видеть из отношения правдоподобия, нам нужно подключить параметр (и) для альтернативной гипотезы. Если альтернатива является составной, какой параметр вы собираетесь подключить?

Недавно я написал запись в блоге с вопросом, в которой лемма Неймана Пирсона была написана простыми словами и приводится пример. Я нашел пример открытия глаза в смысле четкой интуиции по лемме. Как и в случае с вероятностью, она основана на функции массовой дискретной вероятности, поэтому ее легче выполнить, чем при работе с PDF-файлами. Кроме того, примите во внимание, что я определяю отношение правдоподобия как вероятность альтернативной гипотезы против нулевой гипотезы, вопреки вашему утверждению леммы. Объяснение то же самое, но скорее чем меньше, чем сейчас больше. Я надеюсь, что это помогает...

Те из вас, кто занимается анализом данных и прошли некоторые курсы статистики, возможно, познакомились с леммой Неймана-Пирсона (NP-лемма). Сообщение простое, демонстрация не так уж и сложна, но мне всегда было трудно понять, о чем идет речь. Читая книгу «Распространенные ошибки в статистике» от PIGood и JWHardin, я получил объяснение и пример, которые помогли мне получить представление о NP-лемме, которую я всегда пропускал.

Не на 100% математически совершенном языке, что нам говорит Нейман-Пирсон, является то, что самый мощный тест, который можно придумать для проверки данной гипотезы на определенном уровне значимости, дается областью отклонения, сделанной всеми возможными наблюдениями, полученными из этого теста с отношение правдоподобия выше определенного порога ... вахххх! Кто сказал, что это было легко!

Сохраняйте спокойствие и деконструируйте лемму:

1. Гипотеза . В статистике всегда работает с двумя гипотезами, что статистический тест должен отклонять или не отклонять. Существует нулевая гипотеза, которая не будет отвергнута, пока выборочные доказательства против нее не станут достаточно убедительными. Существует также альтернативная гипотеза, которую мы примем, если нулевое значение окажется ложным.
2. Мощность теста (он же чувствительность) говорит нам, сколько раз мы будем правильно отвергать нулевую гипотезу, когда она ошибочна. Нам нужны мощные тесты, поэтому большую часть времени мы отвергаем нулевую гипотезу, мы правы!
3. Уровень значимости теста (он же уровень ложных срабатываний) говорит нам, сколько раз мы будем ошибочно отвергать нулевую гипотезу, когда она верна. Мы хотим небольшой уровень значимости, поэтому в большинстве случаев мы отвергаем нулевую гипотезу, мы не ошибаемся!
4. Область отклонения , учитывая все возможные результаты теста, область отклонения включает в себя те результаты, которые заставят нас отвергнуть нулевую гипотезу в пользу ее альтернативной.
5. Вероятность - это вероятность увидеть наблюдаемый результат теста, учитывая, что нулевая гипотеза (Вероятность нулевой гипотезы) или альтернативная (Вероятность альтернативной гипотезы) были верными.
6. Отношение правдоподобия - это отношение вероятности альтернативной гипотезы, деленное на вероятность нулевой гипотезы. Если результаты теста очень ожидаемые, если нулевая гипотеза верна по сравнению с альтернативной, отношение правдоподобия должно быть небольшим.

Достаточно определений! (хотя, если вы внимательно посмотрите на них, вы поймете, что они очень проницательны!). Давайте перейдем к тому, что говорят нам Нейман и Пирсон: если вы хотите провести максимально возможный статистический тест с точки зрения его мощности, просто определите область отклонения, включив результаты теста, которые имеют наивысший коэффициент вероятности, и продолжайте добавлять новые тесты. результаты до тех пор, пока вы не достигнете определенного значения для количества раз, когда ваш тест будет отклонять нулевую гипотезу, когда она верна (уровень значимости).

Давайте посмотрим на пример, где, надеюсь, все сойдется. Пример основан на книге, упомянутой выше. Это полностью сделано мной, поэтому его не следует рассматривать как отражающее какую-либо реальность или личное мнение.

Представьте, что кто-то хочет определить, выступает ли кто-то за установление иммиграционных квот (нулевая гипотеза) или нет (альтернативная гипотеза), спрашивая свои чувства по отношению к Европейскому союзу.

Представьте, что мы знали фактическое распределение вероятностей для обоих типов людей относительно ответа на наш вопрос:

Давайте представим, что мы готовы принять ложноположительную ошибку в 30%, то есть в 30% случаев мы отвергнем нулевую гипотезу и предположим, что опрошенный человек против квот, когда он / она действительно для них. Как бы мы построили тест?

По словам Неймана и Пирсона, мы сначала взяли бы результат с наибольшим отношением правдоподобия. Это ответ «очень похоже на ЕС» с соотношением 3. С этим результатом, если мы предположим, что кто-то против квот, когда он / она сказал, что «действительно любит ЕС», 10% времени мы бы назначали по квотам людей как против (значимость). Однако мы бы правильно классифицировали людей с квотами только в 30% случаев (власть), поскольку не все в этой группе имеют одинаковое мнение о ЕС.

Похоже, это плохой результат с точки зрения власти. Тем не менее, тест не делает много ошибок при неправильной классификации для людей квоты (значимость). Поскольку мы более гибки в отношении значимости, давайте посмотрим на следующий результат теста, который мы должны добавить к пакету ответов, которые отвергают нулевую гипотезу (область отклонения).

Следующий ответ с самым высоким отношением правдоподобия - «как в ЕС». Если мы используем ответы «очень нравится» и «как» ЕС в качестве результатов теста, которые позволяют нам отвергнуть нулевую гипотезу о том, что кто-то претендует на квоты, мы бы неправильно классифицировали квоты для людей как не в 30% случаев (10% от «очень нравится» и 20% от «нравится»), и мы будем правильно классифицировать против квот людей в 65% случаев (30% от «очень нравится» и 35% от «нравится»). В статистическом жаргоне: наше значение увеличилось с 10% до 30% (плохо!), В то время как сила нашего теста увеличилась с 30% до 65% (хорошо!).

Это ситуация, которую имеют все статистические тесты. Там нет ничего такого, как бесплатный обед даже в статистике! Если вы хотите увеличить силу своего теста, вы делаете это за счет повышения уровня значимости. Или, проще говоря: если вы хотите лучше классифицировать хороших парней, вы сделаете это за счет того, что плохие парни будут хорошо выглядеть!

В основном, теперь мы сделали! Мы создали самый мощный тест, который мы могли бы использовать с данными данными и уровнем значимости 30%, используя метки «действительно нравится» и «нравится», чтобы определить, кто-то против квот ... мы уверены?

Что бы произошло, если бы мы включили на втором этапе после того, как был выбран ответ «действительно нравится», вместо «нравится», ответ «равнодушный»? Значение теста было бы таким же, как и раньше, при 30%: 10% для людей с квотой отвечают «действительно», как и 20% для людей с квотой - «не нравится». Оба теста были бы столь же плохи при неправильной классификации для лиц с квотой. Однако сила будет ухудшаться! В новом тесте мы получили бы мощность 50% вместо 65%, которые у нас были раньше: 30% от «очень нравится» и 20% от «безразлично». С новым тестом мы были бы менее точны при идентификации по квоте!

Кто здесь помог? Соотношение правдоподобия Неймана и Человека замечательная идея! Принимая каждый раз ответ с наивысшим отношением правдоподобия, мы смогли включить в новый тест как можно большую мощность (большой числитель), сохраняя при этом значимость (маленький знаменатель)!

Контекст

(В этом разделе я просто собираюсь объяснить проверку гипотез, напечатать одну и две ошибки и т. Д. В своем собственном стиле. Если вам удобен этот материал, перейдите к следующему разделу)

$\Omega$$P_0$$P_1$$\omega\in\Omega$$\omega$

Обычно в приложениях нулевая гипотеза соответствует некоторому статусу-кво, тогда как альтернативная гипотеза - это некое новое явление, которое вы пытаетесь доказать или опровергнуть, реально. Например, вы можете проверять кого-то на экстрасенсорные способности. Вы запускаете стандартный тест с картами с волнистыми линиями или нет, и заставляете их угадывать определенное количество раз. Нулевая гипотеза состоит в том, что они получат не более одного из пяти правых (поскольку есть пять карт), альтернативная гипотеза заключается в том, что они экстрасенсорные и могут получить больше прав.

$\omega$$A$$P_0(A)$$P_1(A^{c})$$P_0(A)$$P_1(A)$

Имея в виду пример теста психических способностей, я хотел бы сослаться на тип ошибки, при которой нулевое значение является истинным, но вы делаете вывод об альтернативе, такой же как « заблуждение » (вы верите, что парень экстрасенс, но он нет), и другой вид ошибки, как « забвение ».

Лемма

$\alpha$

Предложение (лемма Неймана-Пирсона)

$L_0, L_1$$\alpha > 0$$A\subseteq \Omega$$P_1(A)$$P_0(A)\leq \alpha$

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

$K>0$ $K$$P_1(A)\geq P_1(B)$$B$$P_0(B)\leq P_0(A)$

$K$$P_0(A)=\alpha$

$P_1$$P_0$

$P_0$$P_1$$\mathbb R^n$$P_0(A)$$P_0$$P_1$$P_0$$P_1$$P_0$

Покупка земли

Суть леммы заключается в следующем:

$\mu$$\Omega$$f$$\Omega$$\alpha > 0$$A$$\mu(A)\leq\alpha$$\int_A fd\mu$

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ $K>0$$\int f$$B$

$\alpha$$f$$\int f$$\alpha$$\mu$$P_0$$f$$P_1$$P_0$$L_1/L_0$

$A$$B$$B'$$A$$B'$$B$$A$$B$$B'$$x\in A$$f(y)>f(x)$$y$$A$$x$$y$$A$$f^{-1}([K, +\infty))$$K$