Есть ли способ использовать ковариационную матрицу для нахождения коэффициентов множественной регрессии?

Для простой линейной регрессии коэффициент регрессии вычисляется непосредственно из дисперсионно-ковариационной матрицы , используя где - индекс зависимой переменной, а - индекс объясняющей переменной.$C$

Если есть только ковариационная матрица, можно ли рассчитать коэффициенты для модели с несколькими объясняющими переменными?

ETA: кажется, что для двух объясняющих переменных и аналогично для . Я не сразу вижу, как расширить это до трех или более переменных. β

Да, ковариационная матрица всех переменных - объяснительная и ответная - содержит информацию, необходимую для нахождения всех коэффициентов, при условии, что в модель включен член пересечения (постоянный). (Хотя ковариации не дают информации о постоянном члене, его можно найти из данных.)

Анализ

Пусть данные для пояснительных переменных быть расположены как - мерные векторы - столбцы и переменной отклика быть вектор - столбец , считается реализация случайной величины . Обычные наименьшие квадраты оценивают коэффициентов в моделих 1 , х 2 , ... , х р у Y $n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

получены путем сборки векторов столбцов в массив и решения системы линейных уравненийX 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p n × p + 1 $p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Это эквивалентно системе

Устранение Гаусса решит эту систему. Это происходит путем присоединения матрицы и -вектора в массив и сокращение строки. $p+1\times p+1$p+1$\frac{1}{n}X^\prime X$$p+1$p+1×p+2$\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

Первым шагом будет проверка . Обнаружив, что это ненулевое значение, он начинает вычитать соответствующие кратные значения первой строки из оставшихся строк, чтобы обнулить оставшиеся записи в его первом столбце. Эти множители будут а число, вычтенное из записи будет равно . Это просто формула для ковариации и . Кроме того, число, оставленное в позиции равноA$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$Ai+1,j+1=X ′ i Xj ¯ X i$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$XiXji+1,p+2$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$ Xi$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$, ковариация с .$X_i$$y$

Таким образом, после первого шага исключения Гаусса система сводится к решению

и, разумеется, поскольку все коэффициенты являются ковариациями, это решение можно найти из ковариационной матрицы всех переменных.

(Когда обратимо, решение можно записать как . Приведенные в этом вопросе формулы являются частными случаями этого, когда и Написание таких формул в явном виде будет становиться все более и более сложным по мере роста Кроме того, они уступают численным вычислениям, которые лучше всего выполнять путем решения системы уравнений, а не путем инвертирования матрицы )C - 1 ( Cov ( X i , y ) ) ′ p = 1 p = 2 p $C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

Постоянный член будет разницей между средним значением и средними значениями, предсказанными на основе оценок, .Й $y$$X\hat{\beta}$

пример

Для иллюстрации следующий Rкод создает некоторые данные, вычисляет их ковариации и получает оценки коэффициента наименьших квадратов исключительно из этой информации. Он сравнивает их с оценками, полученными из оценки методом наименьших квадратов lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

Выходные данные показывают соответствие между двумя методами:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675