Есть ли пример, где MLE дает необъективную оценку среднего значения?

Можете ли вы привести пример оценки MLE среднего значения, которое смещено?

Я не ищу пример, который нарушает оценки MLE в целом, нарушая условия регулярности.

Все примеры, которые я вижу в Интернете, относятся к расхождению, и я не могу найти ничего, связанного со средним значением.

РЕДАКТИРОВАТЬ

@MichaelHardy предоставил пример, в котором мы получаем предвзятую оценку среднего значения равномерного распределения, используя MLE при определенной предложенной модели.

тем не мение

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

предполагает, что MLE является равномерно минимальной несмещенной оценкой среднего значения, явно под другой предложенной моделью.

На данный момент мне все еще не очень понятно, что подразумевается под оценкой MLE, если это очень гипотетически зависимая модель, а не выборочная средняя оценка, которая является нейтральной по модели. В конце я заинтересован в оценке чего-то о населении, и меня не волнует оценка параметра гипотетической модели.

РЕДАКТИРОВАТЬ 2

Как показал @ChristophHanck, модель с дополнительной информацией привела к смещению, но уменьшить MSE не удалось.

У нас также есть дополнительные результаты:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (слайд 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (слайд 5)

«Если существует наиболее эффективная несмещенная оценка ˆθ от θ (т. Е. ˆΘ является несмещенной и ее дисперсия равна CRLB), то метод оценки с максимальной вероятностью даст его».

«Более того, если существует эффективная оценка, это оценка ML».

Поскольку MLE со свободными параметрами модели является беспристрастным и эффективным, по определению это «Оценщик максимального правдоподобия»?

РЕДАКТИРОВАТЬ 3

У @AlecosPapadopoulos есть пример с распространением Half Normal на математическом форуме.

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

Он не привязывает ни один из его параметров, как в обычном случае. Я бы сказал, что это решает проблему, хотя он не продемонстрировал предвзятости средней оценки.

Кристоф Ханк не опубликовал детали своего предложенного примера. Я так понимаю, он имеет в виду равномерное распределение на интервале основанное на iid выборке X 1 , … , X n размером больше, чем n = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

Среднее значение .$\theta/2$

MLE среднего значения $\max\{X_1,\ldots,X_n\}/2.$

Это смещено, так как так что $\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: Возможно, мы должны отметить, что лучшая объективная оценка среднего - этонесреднее значение выборки, а n + $\theta/2$

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ Среднее значение выборки является паршивой оценкой потому что для некоторых образцов среднее значение выборки составляет менее $\theta/2$и совершенно очевидно, чтоθ/2меньше, чемmax/2.конец PS$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

Я подозреваю, что распределение Парето - еще один такой случай. Вот мера вероятности: Ожидаемое значение

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ MLE ожидаемого значения $\dfrac \alpha {\alpha -1 } \kappa.$ гдемин=мин{Х1,...,Хп} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Я не определил ожидаемое значение MLE для среднего значения, поэтому я не знаю, каково его смещение.

Вот пример, который я думаю, некоторые могут найти удивительным:

В логистической регрессии для любого конечного размера выборки с недетерминированными результатами (т. Е. ), любой оценочный коэффициент регрессии не только смещен, среднее значение коэффициента регрессии фактически не определено.$0 < p_{i} < 1$

Это связано с тем, что для любого конечного размера выборки существует положительная вероятность (хотя и очень мала, если число выборок велико по сравнению с количеством параметров регрессии) получить идеальное разделение результатов. Когда это произойдет, оценочные коэффициенты регрессии будут либо либо ∞ . Наличие положительной вероятности того, что либо - ∞, либо ∞, означает, что ожидаемое значение не определено.$-\infty$$\infty$$-\infty$$\infty$

Подробнее об этой конкретной проблеме см. Эффект Хаука-Доннера .

Хотя @MichaelHardy высказал эту точку зрения, здесь приведен более подробный аргумент о том, почему MLE максимума (и, следовательно, среднего значения по инвариантности) не является непредвзятым, хотя и находится в другой модели (см. редактирование ниже).$\theta/2$

Оценим верхнюю границу равномерного распределения . Здесь y ( n ) - MLE для случайной выборки y . Покажем, что у ( п $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ не беспристрастно. Его cdf это Таким образом, его плотность равна fy(n)(x)

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ следовательно, E $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

РЕДАКТИРОВАТЬ: Это действительно тот случай, когда (см. Обсуждение в комментариях) MLE несмещен для среднего в случае, когда и нижняя граница и верхняя граница b неизвестны. Тогда минимальный Y ( 1 ) является MLE для a с (детали опущены) ожидаемым значением E ( Y ( 1 ) ) = $a$$b$$Y_{(1)}$$a$ то время как E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ так что MLE для(a+b)/2равно Y ( 1 ) +Y ( n $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ с ожидаемым значением E( Y ( 1 ) + Y ( n $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

РЕДАКТИРОВАТЬ 2: Чтобы уточнить точку зрения Генри, здесь есть небольшая симуляция для MSE оценок среднего значения, показывающая, что, хотя MLE, если мы не знаем, что нижняя граница равна нулю, является несмещенной, MSE для двух вариантов идентичны , предполагая, что оценщик, который включает в себя знание нижней границы, уменьшает изменчивость.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Завершая здесь упущение в моем ответе на math.se ссылается OP,

$n$ распределением . Плотность и моменты этого распределения

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

Логарифмическая вероятность выборки

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.