Всегда ли объективный оценщик максимального правдоподобия всегда лучший объективный оценщик?

22

Я знаю, для обычных задач, если у нас есть лучший регулярный объективный оценщик, это должен быть оценщик максимального правдоподобия (MLE). Но в целом, если у нас есть беспристрастный MLE, будет ли он также лучшим беспристрастным оценщиком (или, может быть, я должен назвать его UMVUE, если он имеет наименьшую дисперсию)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Гэри Ченг
источник

3

Интересный вопрос. MLE является функцией достаточной статистики, и UMVUE могут быть получены путем согласования с полной и достаточной статистикой. Таким образом, если MLE является беспристрастным (и функцией достаточной статистики), единственный возможный способ не иметь минимальной дисперсии - это если достаточная статистика не является полной. Я пытался найти пример, но безуспешно.

— Greenparker

2

А вот краткая информация о достаточной и полной статистике.

— Ричард Харди

10

Реальная проблема заключается в том, что MLE редко бывает непредвзятым: если является объективной оценкой а MLE , то является MLE для но смещено для большинства биективные преобразования .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Сиань

1

Это актуально? «Почти беспристрастный оценщик численности населения» Вьяс Дубей, Университет Равишанкар Шуклы, Райпур, Индия

2

+1 за комментарий Сианя. Наилучшая оценка означает минимальную дисперсию, непредвзятая означает что-то еще. Поэтому я не уверен, что вы можете начать пытаться доказать это, поскольку одно имеет мало общего с другим. Но прежде чем я начну свой собственный вывод, я хотел бы увидеть некоторые серьезные усилия в (попытка) доказательства. Я бы сказал, что даже доказательство первого утверждения (MLE оптимально для некоторых случаев) не является тривиальным.

— Херувим

13

На мой взгляд, вопрос не совсем последовательный в том, что максимизация вероятности и непредвзятость не уживаются, хотя бы потому, что оценки максимального правдоподобия являются эквивариантными , то есть преобразование оценки является оценкой преобразования параметра, в то время как беспристрастность не выдерживает нелинейных преобразований. Следовательно, оценки максимального правдоподобия почти никогда не бывают беспристрастными, если рассматривать «почти» в диапазоне всех возможных параметризаций.

Тем не менее, есть более прямой ответ на вопрос: при рассмотрении оценки дисперсии Нормального, , UMVUE для равен а MLE для равно Значит, они отличаются. Это подразумевает, что $\sigma^2$ $\sigma^2$

{\hat{σ}}_{N}^{2} знак равно \frac{1}{N - 1} Σ_{я знак равно 1}^{N} {{Икс}_{я} - {\bar{Икс}}_{N}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{N}^{2} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} {{Икс}_{я} - {\bar{Икс}}_{N}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

если у нас есть лучший регулярный объективный оценщик, он должен быть оценщиком максимального правдоподобия (MLE).

не держит вообще.

Отметим далее, что, даже когда существуют несмещенные оценки параметра , не обязательно существует наилучшая несмещенная оценка минимальной дисперсии (UNMVUE). $\theta$

— Сиань
источник

Итак, можем ли мы сказать, что беспристрастный MLE - это (U) MVUE, но не каждый (U) MVUE - это MLE?

— Секст Эмпирик

2

Нет, у нас нет оснований полагать, что это правда в целом.

— Сиань

13

Но в целом, если у нас есть беспристрастный MLE, будет ли он также лучшим объективным оценщиком?

Если есть полная достаточная статистика, да .

Доказательство:

Теорема Лемана – Шеффе : Любая несмещенная оценка, которая является функцией полной достаточной статистики, является наилучшей (UMVUE).
MLE является функцией любой достаточной статистики. Смотри 4.2.3 здесь ;

Таким образом, беспристрастный MLE является обязательно лучшим, если существует полная достаточная статистика.

Но на самом деле этот результат практически не имеет смысла применения, поскольку полная достаточная статистика почти никогда не существует. Это потому, что полные достаточные статистические данные существуют (по существу) только для экспоненциальных семейств, где MLE чаще всего смещено (за исключением параметра местоположения гауссианов).

Таким образом, реальный ответ на самом деле нет .

Можно привести пример общего счетчика: любое семейство местоположений с вероятностью ) с симметричным относительно 0 ( ). При размере выборки выполняется следующее: $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE беспристрастен
в нем доминирует другая объективная оценка, известная как эквивариантная оценка Питмана

Чаще всего господство строго, поэтому MLE даже не допустимо. Это было доказано, когда Коши, но я думаю, это общий факт. Таким образом, MLE не может быть UMVU. На самом деле, для этих семей известно, что при мягких условиях никогда не бывает UMVUE. Пример был изучен в этом вопросе со ссылками и несколькими доказательствами. $p$

— Бенуа Санчес
источник

Почему это не имеет самых высоких голосов? Я чувствовал, что этот ответ был лучше, чем ответ Сианя.

— Red Floyd

0

Асимптотическая дисперсия MLE равна UMVUE, т.е. достигает нижней границы Крамера, но конечная дисперсия может не быть UMVUE, чтобы убедиться, что оценщик равен UMVUE, она должна быть достаточной и полной статистики или любой функции этой статистики.

— серхат симсек
источник

0

Короче говоря, оценщиком является UMVUE, если он объективен и является функцией полной и достаточной статистики. (См. Рао-Блэквелл и Шеффе)

— creutzml
источник

Что означает, что это ограничено экспоненциальными семействами.

— Сиань