Дисперсионно-ковариационная матрица ошибок в линейной регрессии

12

Как на практике вычисляется матрица ошибок var / cov с помощью пакетов статистического анализа?

Эта идея понятна мне в теории. Но не на практике. Я имею в виду, что если у меня есть вектор случайных величин , я понимаю, что матрице дисперсии / ковариации будет дан внешний продукт отклонения от средние векторы: . $\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$ $\Sigma$ $\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

Но когда у меня есть выборка, ошибки моих наблюдений не являются случайными величинами. Или лучше, но только если я возьму несколько одинаковых образцов из одной популяции. В противном случае они даны. Итак, опять мой вопрос: как статистический пакет может создать матрицу var / cov, начиная со списка наблюдений (то есть выборки), предоставленного исследователем?

— Riccardo
источник

Ошибки ваших наблюдений являются функцией случайных величин (у) и поэтому сами являются случайными. Условно только на X они не даны.

— user603

1

Да, я полностью согласен с этим. Но то, что вы говорите, работает в теории. Если я нарисую, скажем, 100 случайных выборок одинакового размера из одной популяции, каждая ошибка наблюдения будет случайной величиной с (0, сигма ^ 2). Что если вместо этого я нарисую только один образец? В этом случае средним значением ошибки каждого наблюдения является сама ошибка. Понятно, что я говорю? Итак, я пытаюсь понять, как пакет, такой как Stata, вычисляет матрицу дисперсии-ковариации, используя только одну выборку из совокупности?

— Риккардо

7

Ковариационная матрица для модели типа обычно вычисляется как $y = X\beta + \epsilon$ , гдеявляется остаточной суммой квадратов,ипредставляет число степеней свободы (правилочисло наблюдений минус число параметров).

({Икс}^{T} Икс)^{- 1} \frac{σ^{2}}{d}

$(X^t X)^{-1}\frac{\sigma^2}{d}$

σ^{2}

$\sigma^2$

σ^{2} = \sum_{i} (y_{i} - X_{i} \hat{β})^{2}

$\sigma^2=\sum_i (y_i - X_i\hat\beta)^2$

d

$d$

Для устойчивых и / или кластерных стандартных ошибок продукт изменяется незначительно. Также могут существовать другие способы вычисления ковариационной матрицы, например, как предполагается ожиданием внешних продуктов. $X^t X$

— Симен Гауре
источник

3

МНК оценка от дисперсии ошибки , : $\sigma^2$

s^{2} знак равно \frac{{\hat{ε}}^{⊤} \hat{ε}}{N - п}

$s^2=\frac{\hat \varepsilon^\top\hat \varepsilon}{n-p}$

Это включено в книгу «Практическая регрессия и анова с использованием R» Джулиана Дж. Фаравея, стр. 21 .

Пример его вычисления в R, на основе линейной модели миль на галлон регрессировавших на нескольких автомобилей модели спецификации , включенной в mtcarsбазе данных: ols = lm(mpg ~ disp + drat + wt, mtcars). Это ручные вычисления и вывод lm()функции:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

$\hat \beta$

В a р [\hat{β} | Икс] знак равно σ^{2} {({Икс}^{⊤} Икс)}^{- 1}

$\mathrm{Var}\left[\hat \beta \mid X \right] =\sigma^2 \left(X^\top X\right)^{-1}$

оценивается как на странице 8 этого онлайн-документа как

\hat{В a р} [\hat{β} | Икс] знак равно s^{2} {({Икс}^{⊤} Икс)}^{- 1}

$\hat{\mathrm{Var}}\left[\hat \beta \mid X \right] =s^2 \left(X^\top X\right)^{-1}$

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605

— Антони Пареллада
источник

2

$Y = \beta*X +\varepsilon$ $Y$ $X$ $\beta$ $X$ $Y$

— Раджив Самбасиван
источник

Привет Раджив, спасибо за исправление. Итак, можете ли вы объяснить, как Stata (или любой другой пакет статистики), начиная с Y (и epsilon), может вывести матрицу дисперсии-ковариации Sigma?

— Риккардо

\hat{e} {\hat{e}}^{'}

$\hat{e}\hat{e}'$

Согласитесь с пользователем603. Пожалуйста, проверьте страницу 21 файла cran.r-project.org/doc/contrib/Faraway-PRA.pdf . Это основано на R, но включает в себя хорошее обсуждение теории линейной регрессии.

— Раджив Самбасиван

Привет обоим, спасибо, прежде всего. Я также согласен с вами, user603, и я ожидал этого ответа. Но если матрица var / cov вычисляется путем вычисления внешнего произведения векторов ошибок, это означает, что cov среди компонентов ошибок в большинстве случаев не будет равно нулю, как предполагает гипотеза независимости. Правильно? Это то, что мое сомнение вращается вокруг. Раджив, я посмотрел хорошее руководство, которое ты предложил, но не смог найти ответ. Заранее благодарю за любой будущий ответ.

— Риккардо