Альтернативный способ получения коэффициентов МНК

В другом моем вопросе ответчик использовал следующий вывод коэффициента OLS:

У нас есть модель:
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ где $Z$ незаметно. Тогда мы имеем: $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ где $X_1^* = M_2 X_1$ а также $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$ ,

Это выглядит иначе, чем обычно $\beta = (X'X)^{-1}X'Y$ что я видел в эконометрике. Есть ли более явное изложение этого вывода? Есть ли название для $M_2$ матрица?

econometrics regression

— Гейзенберг
источник

Я уверен, что это описано в лекционных заметках Хансена, но у меня их сейчас нет.

— FooBar

$\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ матрица - это матрица «аннулятор» или «остаточный создатель», связанная с матрицей $\mathbf X$ , Это называется "аннигилятор", потому что $\mathbf M\mathbf X =0$ (для своего $X$ матрица конечно). Это называется "остаточный производитель", потому что $\mathbf M \mathbf y =\mathbf {\hat e}$ в регрессии $\mathbf y = \mathbf X \beta + \mathbf e$ ,

Это симметричная и идемпотентная матрица. Он используется в доказательстве теоремы Гаусса-Маркова.

Кроме того, он используется в теореме Фриша – Во – Ловелла , из которой можно получить результаты для «секционированной регрессии», которая говорит, что в модели (в матричной форме)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

у нас есть это

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

поскольку $\mathbf M_2$ идемпотентен, мы можем переписать вышеупомянутое

{\hat{β}}_{1} знак равно ({Икс}_{1}^{'} M_{2} M_{2} {Икс}_{1})^{- 1} ({Икс}_{1}^{'} M_{2} M_{2}) Y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

и с тех пор $M_2$ также симметрично мы имеем

{\hat{β}}_{1} знак равно ([M_{2} {Икс}_{1}]^{'} [M_{2} {Икс}_{1}])^{- 1} ([M_{2} {Икс}_{1}]^{'} [M_{2} Y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Но это оценка наименьших квадратов из модели

[M_{2} Y] знак равно [M_{2} {Икс}_{1}] β_{1} + M_{2} U

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

а также $\mathbf M_2\mathbf y$ остатки от регрессии $\mathbf y$ на матрице $\mathbf X_2$ только.

Другими словами: 1) Если мы регресс $\mathbf y$ на матрице $\mathbf X_2$ только, а затем регрессировать остатки от этой оценки на матрице $\mathbf M_2\mathbf X_1$ только $\hat \beta_1$ Оценки, которые мы получим, будут математически равны оценкам, которые мы получим, если мы регрессируем $\mathbf y$ на обоих $\mathbf X_1$ а также $\mathbf X_2$ вместе в то же время, как обычная множественная регрессия.

Теперь предположим, что $\mathbf X_1$ скажем, не матрица, а всего лишь один регрессор $\mathbf x_1$ , затем $\mathbf M_2 \mathbf x_1$ это остатки от регрессии переменной $X_1$ на матрице регрессора $\mathbf X_2$ , И это обеспечивает интуицию здесь: $\hat \beta_1$ дает нам эффект, что "часть $X_1$ это необъяснимо $\mathbf X_2$ "имеет" со стороны $Y$ это осталось необъяснимым $\mathbf X_2$ ».

Это символическая часть классической алгебры наименьших квадратов.

— Алекос Пападопулос
источник

Начал отвечать, но у меня было много совпадений с этим ответом. Вы можете найти много этой информации в главе 3.2.4 седьмого издания «Эконометрического анализа» Билла Грина.

— cc7768

@ cc7768 Да, это хороший источник для алгебры наименьших квадратов. Но не стесняйтесь размещать дополнительные материалы. Например, по сути мой ответ охватывает только второй вопрос ОП.

— Алекос Пападопулос

@AlecosPapadopoulos вы говорите, что если мы регресс

M_{2} y

$\mathbf M_2y$ на

X_{1}

$\mathbf X_1$ мы также получаем

{\hat{β}}_{1}

$\hat \beta_1$ , Но разве уравнение не говорит, регресс

M_{2} y

$\mathbf M_2y$ на

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$ вместо?

— Гейзенберг

@ Heisenberg Правильно. Опечатка. Исправлено, и добавлено немного больше.

— Алекос Пападопулос