Поскольку
мы знаем, что
и, таким образом, мы знаем, что для каждого компонента из ,
где - это диагональный элемент . Таким образом, мы знаем, что
& beta ; -& beta~N(0,σ2(ХТХ)-1)к & beta ; & beta ; к-& betaк~N(0,σ2Sкk)Skkkth(XTX
β^=(XTX)−1XTY=(XTX)−1XT(Xβ+ε)=β+(XTX)−1XTε
β^−β∼N(0,σ2(XTX)−1)
kβ^β^k−βk∼N(0,σ2Skk)
Skkkth г к = β к - β к(XTX)−1zk=β^k−βkσ2Skk−−−−−√∼N(0,1).
Обратите внимание на утверждение теоремы о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (теорема B.8 по Грин):
Если , и симметричен и идемпотентный, то распределяются , где есть ранг .A x T A x χ 2 ν ν Ax∼N(0,I)AxTAxχ2ννA
Пусть обозначает остаточный вектор регрессии, и пусть
который является матрицей остаточных создателей (т.е. ) , Легко проверить, что симметрично и идемпотентно . М=Iп-Х(ХТХ)-1хТ,Му= ε Мε^
M=In−X(XTX)−1XT,
My=ε^M
Пусть
будет оценкой для .
s2=ε^Tε^n−p
σ2
Затем нам нужно сделать некоторую линейную алгебру. Обратите внимание на эти три свойства линейной алгебры:
- Ранг идемпотентной матрицы является ее следом.
- Tr(A1+A2)=Tr(A1)+Tr(A2)
- Tr(A1A2)=Tr(A2A1) если равно и равно ( это свойство критично для работы ниже )A1n1×n2A2n2×n1
Поэтому
rank(M)=Tr(M)=Tr(In−X(XTX)−1XT)=Tr(In)−Tr(X(XTX)−1XT))=Tr(In)−Tr((XTX)−1XTX))=Tr(In)−Tr(Ip)=n−p
Тогда
V=(n−p)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).
Применяя теорему о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (изложенную выше), мы знаем, что .V∼χ2n−p
Поскольку вы предполагали, что нормально распределен, то не зависит от , а поскольку является функцией , то также не зависит от . Таким образом, и не зависят друг от друга.εβ^ε^s2ε^s2β^zkV
Тогда
- это отношение стандартного нормального распределения к квадратному корню из распределения Хи-квадрат с такими же степенями свободы (т.е. ), который является характеристикой распределения . Следовательно, статистика имеет распределение с степенями свободы.
tk=zkV/(n−p)−−−−−−−−√
n−pttktn−p
Затем его можно алгебраически манипулировать в более знакомой форме.
tk=β^k−βkσ2Skk√(n−p)s2σ2/(n−p)−−−−−−−−−−−−√=β^k−βkSkk√s2−−√=β^k−βks2Skk−−−−−√=β^k−βkse(β^k)