Являются ли оценки коэффициентов регрессии некоррелированными?

Рассмотрим простую регрессию (нормальность не предполагается): где со средним и стандартным отклонением . Являются ли оценки наименьших квадратов и некоррелированными?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— Арнаб
источник

Что вы думаете? en.wikipedia.org/wiki/Ordinary_least_squares , раздел «Свойства конечного образца». На этот вопрос много раз отвечали на этом сайте.

— mpiktas

Это важное соображение при планировании экспериментов, где может быть желательно не иметь (или очень мало) корреляции между оценками и . Такое отсутствие корреляции может быть достигнуто путем управления значениями . $\hat a$ $\hat b$ $X_i$

Чтобы проанализировать влияние на оценки, значения (которые являются векторами строк длины ) собраны вертикально в матрицу , матрицу проектирования, имеющую столько строк, сколько имеется данных, и (очевидно, ) две колонки. Соответствующие собраны в один длинный (столбчатый) вектор . В этих терминах, записывая для собранных коэффициентов, модель $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

(обычно) предполагается, что независимые случайные величины, дисперсии являются постоянным для некоторого неизвестного . Зависимые наблюдения принимается одним реализации векторной случайной величины . $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

Решение OLS является

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

Предполагая, что обратная матрица существует. Таким образом, используя основные свойства умножения матриц и ковариации,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

Матрица имеет всего две строки и два столбца, соответствующих параметрам модели . Корреляция с пропорциональна недиагональ- элементов который по правилу Крамера пропорциональны скалярному произведению двух столбцов . Так как один из столбцов равен всем с, а точечное произведение с другим столбцом (состоящим из ) является их суммой, находим $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ и не коррелированы, если и только сумма (или эквивалентно среднее) равна нулю. $\hat b$ $X_i$

Это условие ортогональности часто достигается за счет центрирования на (путем вычитания их среднего значения из каждого). Хотя это не изменит предполагаемый наклон , это действительно изменит предполагаемый перехват . Важность этого зависит от приложения. $X_i$ $\hat b$ $\hat a$

Этот анализ применяется к множественной регрессии: матрица проектирования будет иметь столбцы для независимых переменных (дополнительный столбец состоит из с), а будет вектором длины , но в остальном все проходит как прежде. $p+1$ $p$ $1$ $\beta$ $p+1$

На обычном языке два столбца называются ортогональными, когда их произведение на точки равно нулю. Когда один столбец (скажем, столбец ) ортогонален всем другим столбцам, это легко продемонстрировать алгебраическим фактом, что все недиагональные записи в строке и столбце из равны нулю (то есть компоненты и для всех равны нулю). Следовательно, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

Две оценки коэффициента множественной регрессии и не коррелированы всякий раз, когда один (или оба) из соответствующих столбцов матрицы проектирования ортогональны всем другим столбцам. $\hat\beta_i$ $\hat\beta_j$

Многие стандартные экспериментальные планы состоят из выбора значений независимых переменных, чтобы сделать столбцы взаимно ортогональными. Это «разделяет» полученные оценки, гарантируя - до того, как будут собраны какие-либо данные! - что оценки будут некоррелированными. (Когда ответы имеют нормальное распределение, это означает, что оценки будут независимыми, что значительно упрощает их интерпретацию.)

— Whuber
источник

Ответ гласит: «[...] недиагональные элементы, которые являются просто точечными произведениями двух столбцов X». Это верно для , но не ?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Гейзенберг

@ Heisenberg Это хороший момент. Мне было неясно по этому поводу. В случае двух столбцов нет никакой двусмысленности, но мне нужно подумать, как улучшить представление для случая большего количества столбцов.

— whuber

@ Heisenberg Я благодарен за ваше проницательное наблюдение: оно позволило мне исправить существенную ошибку в обсуждении случая множественной регрессии.

— whuber