Линейная модель записывается как
где обозначает вектор ответов, - вектор параметров фиксированных эффектов, - соответствующая матрица дизайна, столбцы которой являются значениями объясняющих переменных, и - вектор случайных ошибок. у β Х & epsi ;
∣∣∣y=Xβ+ϵϵ∼N(0,σ2I),
yβXϵ
Хорошо известно, что оценка дается (см., Например, статью в Википедии )
Следовательно,
[напоминание: для некоторого случайного вектора и некоторой неслучайной матрицы ]& beta ; = ( Х ' х ) - 1 х ' у . Вар ( β ) = ( X ' X ) - 1 Х 'β
β^=(X′X)−1X′y.
вар ( Х ) = A × Var ( X ) × 'Var(β^)=(X′X)−1X′σ2IX(X′X)−1=σ2(X′X)−1,
Var(AX)=A×Var(X)×A'XA
так что
где можно получить с помощью ошибки среднего квадрата (MSE) в таблице ANOVA.
Varˆ(β^)=σ^2(X′X)−1,
σ^2
Пример с простой линейной регрессией в R
#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100 #nb of observations
a <- 5 #intercept
b <- 2.7 #slope
set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------
#------using lm------
mod <- lm(y ~ x)
#--------------------
#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------
#------comparison------
#estimate
> mod$coef
(Intercept) x
5.020261 2.755577
> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577
#standard error
> summary(mod)$coefficients[, 2]
(Intercept) x
0.06596021 0.09725302
> sqrt(diag(var_betaHat))
x
0.06596021 0.09725302
#----------------------
Когда есть одна объясняющая переменная, модель сводится к
и
чтобы
и формулы становятся более прозрачными. Например, стандартная ошибка предполагаемого уклона:
yi=a+bxi+ϵi,i=1,…,n
X=⎛⎝⎜⎜⎜⎜11⋮1x1x2⋮xn⎞⎠⎟⎟⎟⎟,β=(ab)
(X′X)−1=1n∑x2i−(∑xi)2(∑x2i−∑xi−∑xin)
Varˆ(b^)−−−−−−√=[σ^2(X′X)−1]22−−−−−−−−−−−√=nσ^2n∑x2i−(∑xi)2−−−−−−−−−−−−−−−√.
> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302