Интуитивное обоснование предвзятых оценок максимального правдоподобия

25

У меня путаница в оценках предвзятого максимального правдоподобия (ML). Математика всей концепции довольно ясна для меня, но я не могу понять интуитивное обоснование этого.

Учитывая определенный набор данных, который имеет выборки из распределения, который сам является функцией параметра, который мы хотим оценить, оценщик ML приводит к значению для параметра, который, скорее всего, произведет набор данных.

Я не могу интуитивно понять предвзятую оценку ML в том смысле, что: как наиболее вероятное значение параметра может предсказать реальное значение параметра со смещением в сторону неправильного значения?

maximum-likelihood bias

— ssah
источник

Возможный дубликат оценки максимального правдоподобия (MLE) в терминах непрофессионала

— kjetil b halvorsen

Я думаю, что акцент на предвзятости здесь может отличить этот вопрос от предложенного дубликата, хотя они, безусловно, очень тесно связаны.

— Серебряная

14

оценка ML приводит к значению параметра, который наиболее вероятно встречается в наборе данных.

Учитывая допущения, оценщик ML является значением параметра, который имеет наилучшие шансы для создания набора данных.

Я не могу интуитивно понять предвзятую оценку ML в том смысле, что «Как наиболее вероятное значение параметра может предсказать реальное значение параметра со смещением в сторону неправильного значения?»

Смещение касается ожиданий распределения выборки. «Скорее всего, для получения данных» не об ожиданиях распределения выборки. Почему они должны были идти вместе?

На каком основании удивительно, что они не обязательно соответствуют?

Я бы посоветовал вам рассмотреть несколько простых случаев MLE и подумать, как возникает разница в этих конкретных случаях.

В качестве примера рассмотрим наблюдения на униформе на . Самое большое наблюдение (обязательно) не больше, чем параметр, поэтому параметр может принимать значения, по крайней мере, такие же, как самое большое наблюдение. $(0,\theta)$

Когда вы рассматриваете вероятность для , она (очевидно) тем больше, чем ближе к наибольшему наблюдению. Так что это максимизируется при самом большом наблюдении; это явно оценка для которая максимизирует вероятность получения образца, который вы получили: $\theta$ $\theta$ $\theta$

введите описание изображения здесь

Но с другой стороны, это должно быть предвзятым, поскольку наибольшее наблюдение, очевидно (с вероятностью 1), меньше истинного значения ; любая другая оценка не исключена самим образцом, должна быть больше, чем она, и (совершенно очевидно в этом случае) должна быть менее вероятной для получения образца. $\theta$ $\theta$

Ожидание наибольшего наблюдения от равно $U(0,\theta)$ , такобычный способ unbias это взятькачестве оценки от: $\frac{n}{n+1}$ $\theta$ , где- наибольшее наблюдение. $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

Это лежит справа от MLE, и поэтому имеет меньшую вероятность.

— Glen_b - Восстановить Монику
источник

спасибо за Ваш ответ. Про первую часть я высказался неправильно. Я в основном имел в виду то, что вы сказали. Основываясь на вашем ответе на вторую часть, могу ли я сделать вывод, что, учитывая другой набор данных, взятый из того же самого дистрибутива, оценщик ML приведет к другому смещению? Поскольку вы говорите, что оценщик ML является тем, который "наиболее вероятно" производит данные. Если мы изменим данные, то, скорее всего, их получит другой оценщик. Это верно?

— ссах

Оценщик не изменится, если форма распределения населения не изменится. Некоторая другая оценка будет произведена с другой выборкой, и величина, на которую она смещена, как правило, будет другой - смещение обычно связано с размером выборки, даже если популяция одинакова. ... (ctd)

— Glen_b

(СТД) ...

$\quad$

m

$m$

n

$n$

θ

$\theta$

Хорошо использовать канонический пример, чтобы увидеть разницу между непредвзятыми и оценками ML.

— JWG

6

$\beta^{MLE}$ $\beta$ $\beta$ $\beta^{MLE}$

$\frac{N}{N-1}$

— Димитрий Васильевич Мастеров
источник

Извините за ошибку в первой части. Я отредактировал и исправил это. Но о том, что вы сказали о MLE, почему он будет смещен в первую очередь в не асимптотическом случае?

— ссах

2

«Лучше» зависит от того, на что вы смотрите; Исправление Бесселя делает его беспристрастным, но объективность сама по себе не «автоматически» лучше (например, MSE хуже; почему я должен предпочесть объективность меньшему MSE?). Несмещенность можно утверждать, что лучше, при прочих равных условиях , но , к сожалению, при прочих равных не будет равных .

— Glen_b

Насколько я понимаю, можно объективно оценить, что непредвзятая оценка лучше всего проявляется в отношениях между MLE и нижней границей Крамера-Рао.

— Дмитрий Васильевич Мастеров

@ssah Мне сказали, что это потому, что мы используем выборочное среднее вместо истинного среднего в формуле. Честно говоря, я никогда не находил это объяснение особенно интуитивным, потому что, если оценка среднего значения MLE непредвзята, почему это должно пойти не так? Обычно я сомневаюсь в симуляции.

— Дмитрий Васильевич Мастеров

5

Вот моя интуиция.

Смещение - это мера точности , но есть и понятие точности .

введите описание изображения здесь

В идеальном мире мы получили бы оценку, которая является одновременно точной и точной, то есть всегда попадает в яблочко. К сожалению, в нашем несовершенном мире мы должны сбалансировать точность и точность. Иногда мы можем чувствовать, что можем дать немного точности, чтобы получить больше точности: мы постоянно идем на компромисс. Следовательно, тот факт, что оценщик смещен, не означает, что он плохой: возможно, он более точный.

— Аксакал
источник