Другие несмещенные оценки, чем СИНИЙ (решение OLS) для линейных моделей

Для линейной модели решение OLS обеспечивает наилучшую линейную несмещенную оценку параметров.

Конечно, мы можем обменять смещение на более низкую дисперсию, например, на регрессию гребня. Но мой вопрос касается отсутствия предвзятости. Существуют ли какие-либо другие оценщики, которые обычно используются, которые являются несмещенными, но с большей дисперсией, чем оценочные параметры OLS?

Если бы у меня был огромный набор данных, я, конечно, мог бы отбирать его, оценивать параметры с меньшим количеством данных и увеличивать дисперсию. Я предполагаю, что это может быть гипотетически полезно.

Это скорее риторический вопрос, потому что, когда я прочитал об СИНИХ оценках, худшая альтернатива не предоставляется. Я предполагаю, что предоставление худших альтернатив может также помочь людям лучше понять силу СИНИХ оценок.

Один пример, который приходит на ум, - это некоторая оценка GLS, которая взвешивает наблюдения по-разному, хотя это не является необходимым, когда соблюдаются предположения Гаусса-Маркова (что статистику, возможно, не известно, что дело обстоит так, и, следовательно, применимо, все еще применяется GLS).

Рассмотрим случай регрессии $y_i$ , $i=1,\ldots,n$ на константу для иллюстрации (легко обобщается на общие оценки GLS). Здесь $\{y_i\}$ предполагается случайной выборкой из совокупности со средним значением $\mu$ и дисперсией $\sigma^2$ .

Тогда мы знаем , что МНК только β = ˉ у , выборочное среднее. Для того, чтобы подчеркнуть , что каждый пункт наблюдения взвешенных с весом 1 / п , написать это как β = п Е я = 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Хорошо известночто$Var(\hat\beta)=\sigma^2/n$.

Теперь рассмотрим другую оценку, которую можно записать в виде

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ где веса таковы, что $\sum_iw_i=1$ . Это гарантирует , что оценка является несмещенной, а $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ Его дисперсия будет превышать дисперсию OLS, если только$w_i=1/n$для всех$i$(в этом случае она, конечно, уменьшится до OLS), что, например, можно показать с помощью лагранжиана:

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ $w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$$w_i=1/n$

Вот графическая иллюстрация из небольшого моделирования, созданного с помощью кода ниже:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

То, что последние три опережают решение OLS, не сразу подразумевается свойством BLUE (по крайней мере, не для меня), так как не очевидно, являются ли они линейными оценщиками (и я не знаю, являются ли MLE и Huber несмещенными).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)