Что это за компромиссная дисперсия для коэффициентов регрессии и как ее получить?


9

В данной работе , ( байесовский вывод для Компоненты дисперсии , используя только Error Контрастов , Харвилл, 1974), автор утверждает

(Y-Иксβ)'ЧАС-1(Y-Иксβ)знак равно(Y-Иксβ^)'ЧАС-1(Y-Иксβ^)+(β-β^)'(Икс'ЧАС-1Икс)(β-β^)
чтобы быть "хорошо известны отношения", для линейной регрессии
y=Xβ+ϵ,
где
ϵN(0,H),

Как это хорошо известно? Какой самый простой способ доказать это?


1
Это в википедии , см. «Деривация» там.
user603

@ user603 Вы не против сделать ссылку более понятной? Спасибо!
Sibbs Gambling

@ user603 К сожалению, я не вижу, как ссылка решает проблему. Для меня, в моем случае, это уравнение Var (y) = смещение + ... Можете ли вы уточнить?
Sibbs Gambling

4
@SibbsGambling Обратите внимание, что в этой формуле взвешенной линейной регрессии ваше уравнение имеет два связанных с дисперсией члена . Термин слева связан с дисперсией вокруг истинной модели (взвешенной по матрице точности ). Первое слагаемое справа связано с дисперсией вокруг подогнанных моделей. Второй член справа связан с квадратом смещения. Это компромисс между дисперсией и смещением. H1
EdM

Ответы:


6

Последний член в уравнении можно записать в виде

(XβXβ^)H1(XβXβ^).

В этой форме уравнение говорит что-то интересное. Предполагая, что положительно определен и симметричен, так же как и его обратное. Следовательно, мы можем определить внутреннее произведение < x , y > H - 1 = x H - 1 y , что дает нам геометрию. Тогда выше равенство по существу говорит , что ( X β - X β ) ( у - X β ) .H<x,y>H1=xH1Y

(XβXβ^)(yXβ^).

Я хотел дать вам немного интуиции, поскольку комментатор уже оставил ссылку на вывод.

Изменить: для потомства

LHS:

(yXβ)H1(yXβ)=yH1y2yH1Xβ+βXH1Xβ=(A)(B)+(C)

RHS:

(yXβ^)H1(yXβ^)+(ββ^)(XH1X)(ββ^)
=yH1y2yH1Xβ^+β^XH1Xβ^+βXH1Xβ2β^XH1Xβ+β^XH1Xβ^=(A)(D)+(E)+(C)(F)+(E)

Связь:

β^=(XH1X)1XH1y

Вставив соотношение, вы можете показать, что (B) = (F) и что 2 (E) = (D). Все сделано.


Извините, я не вижу, как ссылка решает проблему. Для меня, в моем случае, это уравнение Var (y) = смещение + ... Можете ли вы уточнить?
Sibbs Gambling

@SibbsGambling отредактировал мой ответ, включая вывод.
Jlimahaverford

yβ^

7

Они достигают этой идентичности методом, называемым завершением квадрата. Левая часть находится в квадратичной форме, поэтому начните с ее умножения

(yXβ)H1(yXβ)=yH1y2yH1Xβ+βXH1Xβ

β^=(XH1X)1XH1y


2

Если вы знаете свою матричную алгебру, то это можно сделать, умножив все и убедившись, что у вас действительно одинаковое значение с обеих сторон. Это то, что Jlimahaverford продемонстрировал.

β^ . Мы можем вывести формулу аналогично линейной регрессии, когда у нас есть некоррелированные члены ошибки. Хитрость заключается в стандартизации.

Вот некоторая информация о том, как стандартизировать RV, который исходит из многомерного нормального распределения. Предположим, что у вас есть Σ

XN(μ,Σ).
ΣΣ=PPT
Y=P1(Xμ)
N(0,I)β^H=PPT
y=Xβ+ϵP1y=P1Xβ+P1ϵ
ϵcov(P1ϵ)=I Итак, у нас есть проблема регрессии: ˜
X~=P1X,y~=P1yandϵ~=P1ϵ.
y~=X~β+ϵ~
β^
β^=(X~TX~)1X~Ty~=((P1X)TP1X)1(P1X)TP1y=(XT(PPT)1X)1X(PPT)1y=(XTH1X)1XH1y
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.