Я читаю PRML, и я не понимаю картину. Не могли бы вы дать несколько советов, чтобы понять картину и почему MLE дисперсии в распределении Гаусса смещены?
формула 1.55: формула 1.56 σ 2 M L E =1
Я читаю PRML, и я не понимаю картину. Не могли бы вы дать несколько советов, чтобы понять картину и почему MLE дисперсии в распределении Гаусса смещены?
формула 1.55: формула 1.56 σ 2 M L E =1
Ответы:
Интуиция
Смещение «происходит от» (вовсе не технического термина) того факта, что смещено для . Естественный вопрос: «Ну, какова интуиция, почему склонен к »? Интуиция заключается в том, что в среднеквадратичном выборочном средстве иногда мы пропускаем истинное значение за переоценки, а иногда из-за недооценки. Но, без возведения в квадрат, тенденция переоценивать и недооценивать компенсирует друг друга. Однако, когда мы возводим в квадрат тенденцию к занижению (пропускаем истинное значениец 2 Е [ ˉ х 2 ] ц 2 ц ˉ х цотрицательным числом) также возводится в квадрат и, таким образом, становится положительным. Таким образом, это больше не отменяет и есть небольшая тенденция к завышению.
Если интуиция, стоящая за тем, почему смещена для , все еще неясна, попытайтесь понять интуицию, лежащую в основе неравенства Дженсена (хорошее интуитивное объяснение здесь ), и применить ее к .μ 2 Е [ х 2 ]
Давайте докажем, что дисперсия MLE для выборки iid смещена. Тогда мы будем аналитически проверять нашу интуицию.
доказательство
Пусть .
Мы хотим показать .
Используя тот факт, что и , ∑ N n = 1 ˉ x 2 = N ˉ x 2
С последующим последующим шагом из-за того, что равны по из-за того же распределения.n
Теперь вспомним определение дисперсии, которое гласит: . Отсюда мы получаем следующее
Обратите внимание, что мы соответствующим образом возвели в квадрат константу при извлечении ее из . Обратите на это особое внимание!
что, конечно, не равно .
Аналитически проверить нашу интуицию
Мы можем несколько проверить интуицию, предположив, что мы знаем значение и включив его в приведенное выше доказательство. Поскольку теперь мы знаем , нам больше не нужно оценивать и поэтому мы никогда не переоцениваем его с помощью . Давайте посмотрим, что это «убирает» смещение в .
Пусть .
Из приведенного выше доказательства давайте возьмем из замену истинным значением .ˉ x μ
который беспристрастен!