Проверка гипотез и общее расстояние изменения против расхождения Кульбака-Лейблера

В своем исследовании я столкнулся со следующей общей проблемой: у меня есть два распределения и в одной и той же области и большое (но конечное) число выборок из этих распределений. Выборки независимо и идентично распределяются из одного из этих двух распределений (хотя распределения могут быть связаны: например, может быть смесью и некоторого другого распределения.) Нулевая гипотеза состоит в том, что выборки происходят из , альтернативная гипотеза состоит в том, что образцы происходят из . $P$ $Q$ $Q$ $P$ $P$ $Q$

Я пытаюсь охарактеризовать тип I и тип II ошибки в тестировании образца, зная распределения и . В частности, меня интересует , ограничивающая одну ошибку дали другой, в дополнение к знанию и . $P$ $Q$ $P$ $Q$

Я задал вопрос по математике, касающийся отношения расстояния между вариациями и к проверке гипотез, и получил ответ, который я принял. Этот ответ имеет смысл, но я до сих пор не смог сосредоточиться на более глубоком значении, лежащем в основе взаимосвязи общего отклонения расстояния и проверки гипотез, в том, что касается моей проблемы. Таким образом, я решил обратиться к этому форуму. $P$ $Q$

Мой первый вопрос: ограничена ли полная вариация суммой вероятностей ошибок типа I и типа II, независимо от используемого метода проверки гипотез? По сути, до тех пор, пока существует ненулевая вероятность того, что выборка могла быть сгенерирована любым из распределений, вероятность, по крайней мере, одной из ошибок должна быть ненулевой. По сути, вы не можете избежать возможности того, что ваш тестер гипотез допустит ошибку, независимо от того, сколько обработки сигналов вы делаете. И Total Variation ограничивает эту точную возможность. Правильно ли мое понимание?

Существует также другая связь между ошибками типа I и II и лежащими в их основе распределениями вероятности и : дивергенция KL . Таким образом, мой второй вопрос: является ли граница KL-дивергенции применимой только к одному конкретному методу проверки гипотез (кажется, что он часто встречается вокруг метода логарифмического отношения правдоподобия) или можно применять его в целом ко всем методам проверки гипотез? Если он применим ко всем методам проверки гипотез, то почему он так сильно отличается от границы общего отклонения? Это ведет себя по-другому? $P$ $Q$

И мой основной вопрос: есть ли предписанный набор обстоятельств, когда я должен использовать связанное, или это просто вопрос удобства? Когда результат должен быть получен с использованием одного связанного удержания с использованием другого?

Я прошу прощения, если эти вопросы тривиальны. Я ученый-компьютерщик (так что мне кажется, что это сложная проблема сопоставления с образцом :).) Я достаточно хорошо знаю теорию информации и также имею диплом по теории вероятностей. Тем не менее, я только начинаю изучать все эти вещи для проверки гипотез. При необходимости я сделаю все возможное, чтобы уточнить мои вопросы.

— МВМ
источник

Ответы:

Литература: Большая часть ответа, который вам нужен, определенно содержится в книге Лемана и Романо . Книга Ингстера и Суслины посвящена более сложным темам и может дать вам дополнительные ответы.

Ответ: Однако все очень просто: (или ) - это «истинное» расстояние, которое нужно использовать. Это не удобно для формальных вычислений (особенно с измерениями продукта, т.е. когда у вас есть выборка iid размера ), и другие расстояния (которые являются верхними границами ) могут использоваться. Позвольте мне дать вам детали. $L_1$ $TV$ $n$ $L_1$

Развитие: Обозначим через

$g_1(\alpha_0,P_1,P_0)$ минимальная ошибка типа II с ошибкой типа I для и и альтернатива. $\leq\alpha_0$ $P_0$ $P_1$
$g_2(t,P_1,P_0)$ сумма минимально возможных ошибок типа I + типа II, где и нулю и альтернативе. $t$ $(1-t)$ $P_0$ $P_1$

Это минимальные ошибки, которые вам нужно проанализировать. Равенства (не нижние границы) приведены ниже в теореме 1 (в терминах расстояния (или расстояния от телевизора, если вы)). Неравенства между расстоянием и другими расстояниями определяются теоремой 2 (обратите внимание, что для нижней границы ошибок вам нужны верхние границы или ). $L_1$ $L_1$ $L_1$ $TV$

Какую из них использовать потом, это вопрос удобства, потому что зачастую сложнее вычислить, чем Хеллингера, Кульбака или . Основной пример такой разницы появляется, когда и являются мерами произведения которые возникают в случае, когда вы хотите проверить сравнению с с образцом размера iid. В этом случае и другие легко получаются из (то же самое для и ), но вы не можете сделать это с ... $L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

Определение: Сродство между двумя мерами и определяется как . $A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

Теорема 1 Если(половина телевизора), затем $|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$ .
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

Я написал доказательство здесь .

Теорема 2 Для распределений вероятности и : $P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

Эти границы обусловлены несколькими хорошо известными статистиками (LeCam, Pinsker, ...). - расстояние Хеллингера, дивергенция KL и - дивергенция хи-квадрат. Они все определены здесь . и приведены доказательства этих оценок (дальнейшие вещи можно найти в книге Цыбачева ). Есть также кое-что, что является почти нижней границей Хеллингера ... $h$ $K$ $\chi^2$ $L_1$

— Робин Жирар
источник

Спасибо за ответ, сейчас пытаюсь его переварить. В моей проблеме я допустил ошибку типа I. У меня также есть два распределения и . Я знаю, что телевизор между ними (а также KL). Итак, вы говорите, что телевидение дает более жесткую нижнюю границу для ошибки типа II, чем KL, а это означает, что я должен использовать телевизор для анализа, если я хочу установить максимально возможную нижнюю границу?

P_{0}

$P_0$

P_{1}

$P_1$

— MBM

И спасибо за предложение книги Лемана и Романо, оно выглядит очень полезным и не слишком по моей голове. Также моей библиотеке принадлежит копия! :)

— MBM

@Bullmoose: в теореме 1 говорится, что TV (или L1) связан с равенством что связано с равенством g_2 или g_1 (минимальная сумма ошибок или ошибка типа II с управляемым типом I). Здесь нет неравенства. Неравенство наступает, когда вам нужно перейти от L1 к Kullback.

A_{1}

$A_1$

— Робин Жирар

К сожалению, у меня только минимальный опыт в теории меры. Я думаю, что я вроде понимаю, что такое и , но я не совсем понимаю . Скажем, у меня есть два распределения Гаусса. Телевизором (или L1) между ними является Но что будет ? По определению это выглядит как ...

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

— MBM

... но как сопоставляется с этим из первого пункта в теореме?

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

— MBM

Ответ на ваш первый вопрос: Да, один минус общее расстояние отклонения является нижней границей суммы ошибок типа I + Тип II. Эта нижняя граница применяется независимо от того, какой алгоритм проверки гипотез вы выберете.

Обоснование: ответ вы получили на Math.SE дает стандартное доказательство этого факта. Исправить проверку гипотезы. Пусть обозначает набор результатов, по которым этот тест отклонит нулевую гипотезу (такой набор всегда должен существовать). Тогда вычисление в ответе Math.SE подтверждает нижнюю границу. $A$

(Строго говоря, эта линия рассуждений предполагает, что ваш тест гипотезы является детерминированной процедурой. Но даже если вы рассматриваете рандомизированные процедуры, можно показать, что эта же граница все еще применяется.)

— DW
источник