Как оценка максимального правдоподобия имеет приблизительное нормальное распределение?

Я читал о MLE как о методе создания подобранного распределения.

Я натолкнулся на утверждение о том, что оценки максимального правдоподобия «имеют приблизительное нормальное распределение».

Означает ли это, что если я буду применять MLE несколько раз к своим данным и семейству дистрибутивов, к которым я пытаюсь соответствовать, модели, которые я получу, будут нормально распределены? Как именно последовательность распределений имеет распределение?

Оценщики - это статистика, а статистика имеет распределение выборки (то есть мы говорим о ситуации, когда вы продолжаете рисовать выборки одинакового размера и смотрите на распределение полученных оценок, по одной для каждой выборки).

Цитата относится к распределению MLE, когда размеры выборки приближаются к бесконечности.

Итак, давайте рассмотрим явный пример, параметр экспоненциального распределения (используя параметризацию масштаба, а не параметризацию скорости).

В этом случае . Теорема дает нам , что в качестве образца размера становится все больше и больше, на распределение (соответствующим образом стандартизованное) (по экспоненциальным данным) станет более нормальным.$\hat \mu = \bar x$$n$$\bar X$

Если мы возьмем повторные образцы, каждый из которых имеет размер 1, результирующая плотность образца означает, что дано в верхнем левом графике. Если мы возьмем повторные образцы, каждый из которых имеет размер 2, результирующая плотность средних значений для образцов приведена в верхнем правом графике; к моменту n = 25 в правом нижнем углу распределение выборочных средних уже стало выглядеть более нормальным.

(В этом случае мы уже ожидали, что это так из-за CLT. Но распределение также должно приближаться к нормальности, потому что это ML для параметра скорости ... и вы не можете получить это от CLT - по крайней мере, напрямую * - поскольку мы больше не говорим о стандартизированных средствах, о чем и говорит CLT)$1/\bar X$$\lambda=1/\mu$

Теперь рассмотрим параметр формы гамма-распределения с известным средним масштабом (здесь используется среднее значение и параметризация формы, а не масштаб и форма).

В этом случае оценщик не является закрытой формой, и CLT к нему не относится (опять же, по крайней мере, не напрямую *), но, тем не менее, argmax функции правдоподобия - MLE. По мере того, как вы берете все большие и большие выборки, распределение выборки оценки параметра формы станет более нормальным.

Это оценки плотности ядра из 10000 наборов оценок ML параметра формы гаммы (2,2) для указанных размеров выборки (первые два набора результатов были чрезвычайно тяжелыми; они были несколько усечены, поэтому вы можно увидеть форму рядом с модой). В этом случае форма около моды до сих пор меняется медленно, но крайний хвост довольно резко укоротился. Это может занять из нескольких сотен , чтобы начать смотреть нормально.$n$

-

* Как уже упоминалось, CLT не применяется напрямую (ясно, поскольку мы вообще не имеем дело со средствами). Однако вы можете создать асимптотический аргумент, в котором вы раскрываете что-то в в серии, приводите подходящий аргумент, относящийся к терминам более высокого порядка, и вызываете форму CLT, чтобы получить стандартизированную версию приближается к нормальности (при подходящих условиях ...).$\hat{\theta}$$\hat{\theta}$

Обратите также внимание на то, что эффект, который мы видим, когда мы смотрим на маленькие выборки (по крайней мере, маленькие по сравнению с бесконечностью) - что регулярное продвижение к нормальности в различных ситуациях, как мы видим мотивированными графиками выше, - предполагает, что если мы рассмотрели cdf стандартизированной статистики, может существовать версия чего-то вроде неравенства Берри Эссеена, основанного на сходном подходе к способу использования аргумента CLT с MLE, который обеспечит границы того, насколько медленно распределение выборки может приблизиться к нормальности. Я не видел ничего подобного, но меня не удивит, что это было сделано.