Почему доказательство Уилкса 1938 года не работает для неправильно определенных моделей?

В известной работе 1938 года (« Распределение отношения правдоподобия для большой выборки при проверке составных гипотез », Анналы математической статистики, 9: 60–62) Самуэль Уилкс вывел асимптотическое распределение в (логарифмическое отношение правдоподобия) для вложенных гипотез в предположении, что большая гипотеза указана правильно. Предельное распределение (хи-квадрат) со степенями свободы , где - число параметров в большей гипотезе, а$2 \times LLR$$\chi^2$$h-m$$h$$m$число свободных параметров в вложенной гипотезе. Тем не менее, якобы общеизвестно, что этот результат не выполняется, если гипотезы неверно определены (т. Е. Когда большая гипотеза не является истинным распределением для выборочных данных).

Кто-нибудь может объяснить почему? Мне кажется, что доказательство Уилкса все еще должно работать с небольшими изменениями. Он основывается на асимптотической нормальности оценки максимального правдоподобия (MLE), которая все еще сохраняется с ошибочно определенными моделями. Единственным отличием является ковариационная матрица предельной многомерной нормали: для правильно заданных моделей мы можем аппроксимировать ковариационную матрицу с помощью обратной информационной матрицы Фишера , при неправильной спецификации мы можем использовать сэндвич-оценку ковариационной матрицы ( ). Последнее сводится к обратной информационной матрице Фишера, когда модель задана правильно (поскольку$J^{-1}$$J^{-1} K J^{-1}$$J = K$). AFAICT, Доказательство Уилкса не волнует, откуда берется оценка ковариационной матрицы, пока у нас есть обратимая асимптотическая ковариационная матрица многомерной нормали для MLE ( в статье Уилкса). $c^{-1}$

Р. В. Фоутц и Р. К. Шривастава подробно рассмотрели этот вопрос. Их статья 1977 года «Выполнение теста отношения правдоподобия при неправильной модели» содержит утверждение о распределении результата в случае неправильной спецификации вместе с очень кратким наброском доказательства, а статья 1978 года «Асимптотическое распределение отношения правдоподобия при модель неверна » содержит доказательство, но последняя напечатана на старомодной пишущей машинке (хотя обе статьи используют одну и ту же запись, так что вы можете комбинировать их при чтении). Кроме того, в отношении некоторых этапов доказательства они ссылаются на статью К.П. Роя «Записка об асимптотическом распределении отношения правдоподобия» от 1957 г., которая, по-видимому, недоступна даже в режиме онлайн.

В случае неправильной спецификации распределения, если MLE все еще согласован и асимптотически нормален (что не всегда так), статистика LR асимптотически следует линейной комбинации независимых хи-квадратов (каждый из которых имеет одну степень свободы)

$$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$$

где . Видно «сходство»: вместо одного хи-квадрата с h - m степенями свободы мы имеем h - m хи-квадрата, каждый с одной степенью свободы. Но «аналогия» на этом заканчивается, потому что линейная комбинация хи-квадратов не имеет плотности в замкнутой форме. Каждый масштабированный хи-квадрат представляет собой гамму, но с другим параметром c i, который приводит к другому параметру масштаба для гаммы, и сумма таких гамм не является замкнутой, хотя ее значения можно вычислить.$r=h-m$$h-m$$h-m$$c_i$

Для констант имеем c 1 ≥ c 2 ≥ . , , c r ≥ 0 , и они являются собственными значениями матрицы ... какая матрица? Хорошо, используя обозначения авторов, установите Λ как гессиан логарифмического правдоподобия, а C - как внешний продукт градиента логарифмического правдоподобия (в терминах ожидания). Таким образом, V = Λ - 1 C ( Λ ′ ) - 1 - асимптотическая дисперсионно-ковариационная матрица MLE.$c_i$$c_1 \geq c_2\geq ...c_r \geq0$$\Lambda$$C$$V = \Lambda^{-1} C (\Lambda')^{-1}$

Затем установите , чтобы быть в г × г верхний диагональный блок V . $M$$r \times r$$V$

Также напишите в форме блока$\Lambda$

$$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$$

и положим ( W - отрицание дополнения Шура Λ ).$W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$$W$$\Lambda$

Тогда являются собственными значениями матрицы M W, оцененными при истинных значениях параметров.$c_i$$MW$

ДОБАВЛЕНИЕ
Ответ на действительное замечание ФП в комментариях (иногда, действительно, вопросы становятся трамплином для обмена более общим результатом, и самим собой можно пренебречь в процессе), вот как проходит доказательство Уилкса: Уилкс начинает с соединения нормальное распределение MLE, и приступает к получению функционального выражения отношения правдоподобия. Вплоть до его экв. , доказательство может продвинуться вперед, даже если мы предположим, что у нас есть неправильная спецификация распределения: как отмечает OP, условия ковариационной матрицы дисперсии будут отличаться в сценарии неправильной спецификации, но все, что Уилкс делает, это берет производные и идентифицирует асимптотически незначительные условия. И вот он прибывает в ур. [ 9 $[9]$$[9]$где мы видим, что статистика отношения правдоподобия, если спецификация верна, является просто суммой квадрате стандартных нормальных случайных величин, и поэтому они распределяются как один хи-квадрат с h - m степенями свободы: (общая запись )$h-m$$h-m$

$$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$$

$\sqrt n(\hat \theta -\theta)$

$$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$$

$$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$$

$h-m$

$J^{-1}$$J^{-1}$$J^{-1} K J^{-1}$$ij$$J$$c_{ij}$$J^{-1}KJ^{-1} = J^{-1}$$K=J$$K=J$