Почему критерий отношения правдоподобия распределяется по критерию хи-квадрат?

Почему тестовая статистика теста отношения правдоподобия распределяется по хи-квадрату?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Как уже упоминалось @Nick, это является следствием теоремы Уилкса . Но обратите внимание, что тестовая статистика асимптотически -распределена, а не χ 2 -распределена.$\chi^2$$\chi^2$

Я очень впечатлен этой теоремой, потому что она имеет место в очень широком контексте. Рассмотрим статистическую модель с вероятностью где y - вектор наблюдений n независимых реплицированных наблюдений из распределения с параметром θ, принадлежащего подмногообразию B 1 в R d с размерностью dim ( B 1 ) = s . Пусть B 0 ⊂ B 1 - подмногообразие с размерностью dim ( B $l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$ . Представьте, что вы заинтересованы в тестировании H 0 : { θ ∈ B 0 } .$\dim(B_0)=m$$H_0\colon\{\theta \in B_0\}$

Отношение правдоподобия равно Определитьотклонениеd(y)=2log(lr(y)). ТогдаУилкса теоремаутверждаетчто при обычных предположениях регулярности,d(у)асимптотическийχ2-distributed сs-мстепени свободы приH0верен.

Это доказано в оригинальной статье Вилка, упомянутой @Nick. Я думаю, что этот документ не так легко прочитать. Уилкс опубликовал книгу позже, возможно, с самым простым изложением своей теоремы. Краткое эвристическое доказательство дано в превосходной книге Уильямса .

Я второй суровый комментарий Ника Саббе, и мой короткий ответ: это не так . Я имею в виду, это только в нормальной линейной модели. Для абсолютно любых других обстоятельств точное распределение не является . Во многих ситуациях можно надеяться, что условия теоремы Уилкса будут выполнены, и тогда асимптотически статистика теста логарифмического отношения правдоподобия сходится по распределению к χ 2 . Ограничения и нарушения условий теоремы Уилкса слишком многочисленны, чтобы их игнорировать.$\chi^2$$\chi^2$

1. В теореме предполагается, что данные iid ожидают проблем с зависимыми данными, такими как временные ряды или выборки обследования с неравной вероятностью (для которых вероятности, во всяком случае, плохо определены; «регулярные» тесты χ 2 , такие как тесты независимости в таблицах непредвиденных обстоятельств, начинают вести себя как сумма ∑ k a k v k , v k ∼ iid χ 2 1 ( Рао и Скотт ). Для данных iid a k = 1 , и сумма становится χ 2. Но для независимых данных это не дольше дела.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. В теореме предполагается, что истинный параметр находится внутри пространства параметров. Если у вас есть евклидово пространство для работы, это не проблема. Однако в некоторых задачах могут возникать естественные ограничения, такие как дисперсия 0 или корреляция между -1 и 1. Если истинным параметром является граница, то асимптотическое распределение представляет собой смесь χ 2 с различными степенями свободы, в том смысле, что cdf теста представляет собой сумму таких cdfs ( Andrews 2001 , плюс две или три его работы того же периода, с историей, восходящей к Черноффу 1954 ).$\ge$$\chi^2$
3. Теорема предполагает, что все соответствующие производные отличны от нуля. Это может быть связано с некоторыми нелинейными проблемами и / или параметризацией, и / или ситуациями, когда параметр не идентифицирован под нулевым значением. Предположим, у вас есть модель гауссовой смеси, и ваш нуль равен одному компоненту сравнению с альтернативой двух различных компонентов f N ( μ 1 , σ 2 1 ) + ( 1 - f ) N ( μ 2 , σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$с фракцией смешивания . Нуль, по-видимому, вложен в альтернативу, но это можно выразить различными способами: как f = 0 (в этом случае параметры μ 1 , σ 2 1 не определены), f = 1 (в этом случае μ 2 , σ 2 2 не определены), или μ 1 = μ 2 , σ 1 = σ 2 (в этом случае $f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$не идентифицирован). Здесь вы даже не можете сказать, сколько степеней свободы должен иметь ваш тест, поскольку у вас различное количество ограничений в зависимости от того, как вы параметризуете вложение. Посмотрите на работу Цзяуа Чена, например, CJS 2001 .
4. может работать нормально , если распределение было указано правильно. Но если это не так, тест снова сломается. В (часто игнорируемой статистиками) подрайоне многомерного анализа, известного как ковариационное моделирование структурных уравнений, часто предполагается многомерное нормальное распределение, но даже если структура правильная, тест будет работать некорректно, если распределение будет другим. Satorra и Bentler 1995 показывают, что распределение станет ∑ k a k v k , v k ∼ iid χ 2 1 , та же история, что и с независимыми данными в моем пункте 1, но они также продемонстрировали, как$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ s зависят от структуры модели и четвертых моментов распределения.$a_k$
5. ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$$b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$$b$

Для обзора этих и подобных эзотерических проблем в выводе вероятности см. Смит 1989 .