Как понять, что MLE дисперсии смещен в распределении Гаусса?

PRML иллюстрация того, как смещение возникает при использовании максимальной вероятности для определения дисперсии гауссовского

Я читаю PRML, и я не понимаю картину. Не могли бы вы дать несколько советов, чтобы понять картину и почему MLE дисперсии в распределении Гаусса смещены?

формула 1.55: формула 1.56

μ_{M L E} = \frac{1}{N} \sum_{n = 1}^{N} x_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{M L E}^{2} = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - μ_{M L E})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— ningyuwhut
источник

Пожалуйста, добавьте тег самообучения.

— StatsStudent

почему для каждого графика мне видна только одна синяя точка данных? Кстати, пока я пытался отредактировать переполнение двух подписок в этом посте, система требует «как минимум 6 символов» ... неловко.

— Zhanxiong

Что вы действительно хотите понять, картину или почему MLE-оценка дисперсии является предвзятой? Первое очень запутанно, но я могу объяснить второе.

— TrynnaDoStat

да, я нашел в новой версии каждый график имеет две синие данные, мой PDF старый

— ningyuwhut

@TrynnaDoStat извините за мой вопрос не понятно. то, что я хочу знать, - то, почему оценка дисперсии MLE смещена. и как это выражено в этом графике

— ningyuwhut

Интуиция

Смещение «происходит от» (вовсе не технического термина) того факта, что смещено для . Естественный вопрос: «Ну, какова интуиция, почему склонен к »? Интуиция заключается в том, что в среднеквадратичном выборочном средстве иногда мы пропускаем истинное значение за переоценки, а иногда из-за недооценки. Но, без возведения в квадрат, тенденция переоценивать и недооценивать компенсирует друг друга. Однако, когда мы возводим в квадрат тенденцию к занижению (пропускаем истинное значение $E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ отрицательным числом) также возводится в квадрат и, таким образом, становится положительным. Таким образом, это больше не отменяет и есть небольшая тенденция к завышению.

Если интуиция, стоящая за тем, почему смещена для , все еще неясна, попытайтесь понять интуицию, лежащую в основе неравенства Дженсена (хорошее интуитивное объяснение здесь ), и применить ее к . $x^2$ $\mu^2$ $E[x^2]$

Давайте докажем, что дисперсия MLE для выборки iid смещена. Тогда мы будем аналитически проверять нашу интуицию.

доказательство

Пусть . $\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Мы хотим показать . $E[\hat{\sigma}^2] \neq \sigma^2$

E [{\hat{σ}}^{2}] = E [\frac{1}{N} \sum_{n = 1}^{N} (x_{n} - \bar{x})^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} (x_{n}^{2} - 2 x_{n} \bar{x} + {\bar{x}}^{2})] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

Используя тот факт, что и , $\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2}] - E [{\bar{x}}^{2}] = \frac{1}{N} \sum_{n = 1}^{N} E [x_{n}^{2}] - E [{\bar{x}}^{2}] = E [x_{n}^{2}] - E [{\bar{x}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

С последующим последующим шагом из-за того, что равны по из-за того же распределения. $E[x_n^2]$ $n$

Теперь вспомним определение дисперсии, которое гласит: . Отсюда мы получаем следующее $\sigma^2_x = E[x^2] - E[x]^2$

E [x_{n}^{2}] - E [{\bar{x}}^{2}] = σ_{x}^{2} + E [x_{n}]^{2} - σ_{\bar{x}}^{2} - E [x_{n}]^{2} = σ_{x}^{2} - σ_{\bar{x}}^{2} = σ_{x}^{2} - V a r (\bar{x}) = σ_{x}^{2} - V a r (\frac{1}{N} \sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

Обратите внимание, что мы соответствующим образом возвели в квадрат константу при извлечении ее из . Обратите на это особое внимание! $\frac{1}{N}$ $Var()$

σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} N σ_{x}^{2} = σ_{x}^{2} - \frac{1}{N} σ_{x}^{2} = \frac{N - 1}{N} σ_{x}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

что, конечно, не равно . $\sigma_x^2$

Аналитически проверить нашу интуицию

Мы можем несколько проверить интуицию, предположив, что мы знаем значение и включив его в приведенное выше доказательство. Поскольку теперь мы знаем , нам больше не нужно оценивать и поэтому мы никогда не переоцениваем его с помощью . Давайте посмотрим, что это «убирает» смещение в . $\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

Пусть . $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Из приведенного выше доказательства давайте возьмем из замену истинным значением . $E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

E [x_{n}^{2}] - E [μ^{2}] = E [x_{n}^{2}] - μ^{2} = σ_{x}^{2} + E [x_{n}]^{2} - μ^{2} = σ_{x}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

который беспристрастен!

— TrynnaDoStat
источник

+1 Может быть стоит отметить, что ваша демонстрация не требует, чтобы имел гауссово распределение. (Однако для других распределений выборочная дисперсия может не быть MLE для параметра дисперсии.)

X

$X$

— whuber

Спасибо за ваше объяснение. Мне нужно некоторое время, чтобы понять это. Кроме того, я нашел ошибку в уравнениях. Вы можете это проверить? Спасибо!

— ningyuwhut

@ whuber - Не знаю, почему вы сказали, что "..демонстрация не требует, чтобы имел гауссово распределение". Мы не будем говорить о ML-дисперсионном решении для каждого распределения, скажем, биномиального распределения. Таким образом, неявно мы предполагаем, что распределение X имеет дисперсию в качестве одного из параметров.

X

$X$

— KGhatak