Доказательство того, что коэффициенты в модели OLS следуют t-распределению с (nk) степенями свободы


29

Задний план

Предположим, у нас есть модель Обыкновенных наименьших квадратов, в которой у нас есть коэффициентов в нашей регрессионной модели, k

y=Xβ+ϵ

где - вектор коэффициентов, - матрица проектирования, определяемая какβ(k×1)X

X=(1x11x12x1(k1)1x211xn1xn(k1))
и ошибки являются IID normal,
ϵN(0,σ2I).

Мы минимизируем сумму-на-квадратным ошибок, установив наши оценки для , чтобы быть & beta ; = ( Х Т Х ) - 1 х Т уβ

β^=(XTX)1XTy.

Необъективная оценка : где \ mathbf {\ hat {y}} \ equ \ mathbf {X} \ mathbf {\ hat {\ beta}} ( ссылка ).σ2уХ β

s2=yy^2np
y^Xβ^

Ковариация β^ определяется как

Cov(β^)=σ2C
где C(XTX)1 ( ссылка ).

Вопрос

Как я могу доказать, что для β^i ,

β^iβisβ^itnk
где tnk является t-распределение с (nk) степенями свободы, а стандартная ошибка β^i оценивается как sβ^i=scii .

Мои попытки

Я знаю, что для случайных величин, выбранных из , вы можете показать, что , переписав LHS как и понимая, что нумертор является стандартным нормальным распределением, а знаменатель является квадратным корнем распределения хи-квадрат с df = (n-1) и делится на (n- 1) ( ссылка ) И поэтому оно следует t-распределению с df = (n-1) ( ref ).x N ( μ , σ 2 ) ˉ x - μnxN(μ,σ2)( ˉ x -μ

x¯μs/ntn1
(x¯μσ/n)s2/σ2

Я не смог распространить это доказательство на мой вопрос ...

Любые идеи? Я знаю об этом вопросе , но они явно не доказывают это, они просто дают эмпирическое правило, говорящее «каждый предиктор стоит вам степени свободы».


Поскольку является линейной комбинацией совместно нормальных переменных, она имеет нормальное распределение. Поэтому все, что вам нужно сделать, это (1) установить, что ; (2) показать, что является непредвзятой оценкой ; и (3) продемонстрировать степени свободы в is . Последнее было доказано на этом сайте в нескольких местах, таких как stats.stackexchange.com/a/16931 . Я подозреваю, что вы уже знаете, как это сделать (1) и (2). Е( β я)=βя˙s 2 β я вар( β я)ев β Iп-кβ^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
whuber

Ответы:


32

Поскольку мы знаем, что и, таким образом, мы знаем, что для каждого компонента из , где - это диагональный элемент . Таким образом, мы знаем, что & beta ; -& beta~N(0,σ2(ХТХ)-1)к & beta ; & beta ; к-& betaк~N(0,σ2Sкk)Skkkth(XTX

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth г к = β к - β к(XTX)1
zk=β^kβkσ2SkkN(0,1).

Обратите внимание на утверждение теоремы о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (теорема B.8 по Грин):

Если , и симметричен и идемпотентный, то распределяются , где есть ранг .A x T A x χ 2 ν ν AxN(0,I)AxTAxχν2νA

Пусть обозначает остаточный вектор регрессии, и пусть который является матрицей остаточных создателей (т.е. ) , Легко проверить, что симметрично и идемпотентно . М=Iп-Х(ХТХ)-1хТ,Му= ε Мε^

M=InX(XTX)1XT,
My=ε^M

Пусть будет оценкой для .

s2=ε^Tε^np
σ2

Затем нам нужно сделать некоторую линейную алгебру. Обратите внимание на эти три свойства линейной алгебры:

  • Ранг идемпотентной матрицы является ее следом.
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1) если равно и равно ( это свойство критично для работы ниже )A1n1×n2A2n2×n1

Поэтому

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

Тогда

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

Применяя теорему о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (изложенную выше), мы знаем, что .Vχnp2

Поскольку вы предполагали, что нормально распределен, то не зависит от , а поскольку является функцией , то также не зависит от . Таким образом, и не зависят друг от друга.εβ^ε^s2ε^s2β^zkV

Тогда - это отношение стандартного нормального распределения к квадратному корню из распределения Хи-квадрат с такими же степенями свободы (т.е. ), который является характеристикой распределения . Следовательно, статистика имеет распределение с степенями свободы.

tk=zkV/(np)
npttktnp

Затем его можно алгебраически манипулировать в более знакомой форме.

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)

Еще один побочный вопрос: Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vectorразве нам не нужно, чтобы был симметричным? К сожалению, у меня нет Грина, поэтому я не вижу доказательств, хотя я видел, что Википедия имела ту же форму, что и вы . Однако встречным примером, по-видимому, является идемпотентная матрица которая приводит к который не является хи-квадрат, поскольку он может принимать отрицательные значения. ..AAзнак равно(1100)Икс12+Икс1Икс2
Гаррет

1
@ Гарретт Мои извинения, должен быть симметричным и идемпотентным. Доказательство приведено в качестве теоремы 3 в этом документе: www2.econ.iastate.edu/classes/econ671/hallam/documents/… К счастью, симметрична и идемпотентна. AM
Синий маркер

1
AПросто матричное представление квадратичной формы. Каждая квадратичная форма имеет симметричное представление, поэтому требование симметрии подразумевается в формулировке теоремы. (Люди не используют асимметричные матрицы для представления квадратичных форм.) Таким образом, квадратичная форма однозначно представлена ​​матрицей который не идемпотентен. A(Икс1,Икс2)Икс12+Икс1Икс2Aзнак равно(11/21/20)
whuber

1
Почему подразумевает, что не зависит от ? Не совсем там следую. ε~N(0,σ2)β^ε^
Glassjawed

1
@Glassjawed Поскольку и и являются многомерными нормально распределенными, то некоррелированность подразумевает независимость. Использование выражений и из выше мы можем показать, что . β^ε^β^знак равноβ+(ИксИкс)-1Иксεε^знак равноMεCov(β^,ε^)знак равно0п×N
rzch
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.