Почему RSS распространяется через квадраты времени np?


28

Я хотел бы понять, почему в рамках модели OLS RSS (остаточная сумма квадратов) распределяется ( - это число параметров в модели, - количество наблюдений).

χ2(np)
pn

Я прошу прощения за то, что задал такой простой вопрос, но мне кажется, что я не могу найти ответ онлайн (или в моих, более ориентированных на приложения, учебниках).


4
Обратите внимание, что ответы демонстрируют, что утверждение не совсем верно: распределение RSS в (не ) раз превышает где - истинная дисперсия ошибок. σ2npχ2(np)σ2
whuber

Ответы:


36

Я рассматриваю следующую линейную модель: .y=Xβ+ϵ

Вектор невязок оценивается как

ϵ^=yXβ^=(IX(XX)1X)y=Qy=Q(Xβ+ϵ)=Qϵ

где .Q=IX(XX)1X

Заметим, что tr(Q)=np (след инвариантен относительно циклической перестановки) и что Q=Q=Q2 . Следовательно, собственные значения Q равны 0 и 1 (некоторые детали приведены ниже). Следовательно, существует унитарная матрица V такая, что ( матрицы диагонализируются унитарными матрицами тогда и только тогда, когда они нормальны ).

VQV=Δ=diag(1,,1np times,0,,0p times)

Теперь пусть .K=Vϵ^

Поскольку , мы имеем и, следовательно, . таким образомK~N(ϵ^N(0,σ2Q)К п - р + 1 = ... = К п = 0KN(0,σ2Δ)Knp+1==Kn=0

K2σ2=K2σ2χnp2

с .K=(K1,,Knp)

Кроме того, поскольку является унитарной матрицей, мы также имеемV

ϵ^2=K2=K2

таким образом

RSSσ2χnp2

Наконец, обратите внимание, что этот результат подразумевает, что

E(RSSnp)=σ2

Поскольку , минимальный многочлен от делит многочлен . Итак, собственные значения находятся среди и . Поскольку также является суммой собственных значений, умноженных на их кратность, мы обязательно имеем, что является собственным значением с кратностью а ноль является собственным значением с кратностью .Q z 2 - z Q 0 1 tr ( Q ) = n - p 1 n - p pQ2Q=0Qz2zQ01tr(Q)=np1npp


1
(+1) Хороший ответ. Можно ограничить внимание ортогональным, а не унитарным поскольку вещественно и симметрично. Кроме того, что такое ? Я не вижу, что это определено. Слегка переназначив аргумент, можно также избежать использования вырожденной нормали в случае, если это вызывает некоторый испуг у тех, кто не знаком с ним. Q S C RVQSCR
кардинал

2
@Cardinal. Хорошая точка зрения. SCR («Somme des Carrés Résiduels» на французском языке) должен был быть RSS.
Октябрь

Спасибо за подробный ответ Ocram! Некоторые шаги потребуют, чтобы я посмотрел больше, но у меня есть план, чтобы подумать сейчас - спасибо!
Тал Галили

@Glen_b: О, я сделал пару дней назад, чтобы изменить SCR на SRR. Я не помнил, что SCR упоминается в моем комментарии. Извините за путаницу.
ocram

@Glen_b: Это должно было означать RSS: -S Отредактировано снова. Thx
ocram

9

ИМХО, матричная запись усложняет. Чисто векторное пространство языка чище. Модель можно записать в виде где имеет стандартное нормальное распределение на и предполагается, что принадлежит векторному подпространству .Y = μ + σ G G R n μ W R nY=Xβ+ϵY=μ+σGGRnμWRn

Теперь в игру вступает язык элементарной геометрии. наименьших квадратов of - это не что иное, как : ортогональная проекция наблюдаемой на пространство которому, как предполагается, принадлежит . Вектор невязок - это : проекция на ортогональное дополнение к в . Размерность равна . МPWYYWМРШ УШШРпШμ^μPWYYWμPWYWWRnWdim(W)=ndim(W)

Наконец, а имеет стандартное нормальное распределение на , следовательно, его квадратная норма имеет распределение с степенями свободы.P W G W χ 2 дим ( W )

PWY=PW(μ+σG)=0+σPWG,
PWGWχ2dim(W)

Эта демонстрация использует только одну теорему, фактически теорему определения:

Определение и теорема . Случайный вектор в имеет стандартное нормальное распределение в векторном пространстве если он принимает свои значения в и свои координаты в одном ( во всех) ортонормированном базисе из являются независимыми одномерные стандартные нормальные распределения U R n URnURnUU

(из этой теоремы определения теорема Кохрана настолько очевидна, что не стоит ее формулировать)


0

Как только мы установим, что , мы можем применить следующую лемму:ϵ^=(IH)ϵ


Лемма: Если является симметричной и идемпотентной вещественной матрицей, то существует матрицу с ортонормированными столбцами , такими , что . Матрица является , где равен рангу .An×nUA=UUTUn×rrA

Доказательство: спектральная теорема для симметричных матриц утверждает, чтогде- диагональная матрица собственных значенийдляи- ортогональная матрица, столбцами которой являются соответствующие собственные векторы. Посколькуидемпотент, каждое собственное значение равно нулю или единице (причина:влечет). Удалить изстолбцы, соответствующие нулевому собственному значению, оставивматрицу; диагональная матрицаA=UDUTDn×nλ1,,λnAUn×nu1,,unAAu=λuλu=Au=A(Au)=Aλu=λ2uUn×rDr U у я = U я ранг (становится личностью. Чтобы определить , обратите внимание, что каждый столбец, остающийся в удовлетворяет , следовательно, они образуют основу для диапазона ; так что .rUAui=uiArank(A)=r


Применяя лемму, напишите где имеет ортонормированные столбцы и . Тогда . Заметим, что является мерным случайным вектором, имеющим многомерное нормальное распределение со средним нулем и ковариационной матрицей и это Заключить - это сумма квадратовIH=UUTUn×rr=rank(IH)ε : = ( I - Н ) ε = U ( U T ε ) N : = U T & epsi ; г вар ( Н ) = Е ( U T ϵ ) ( U T ϵ ) T =ϵ^:=(IH)ϵ=U(UTϵ)N:=UTϵr

Var(N)=E(UTϵ)(UTϵ)T=UTE(ϵϵT)U=σ2(UTU)=σ2Ir×r
RSS:=ϵ^Tϵ^=(UN)T(UN)=NT(UTU)N=NTN.
RSS/σ2rIID стандартные нормальные переменные и, следовательно, имеет распределение хи-квадрат ( ).r

Чтобы закончить, находим : рассмотрим для разложение . Идемпотентность подразумевает для всех , откуда является прямой суммой подпространств и и т.r=nrank(X)vRnv=Hv+(IH)vH(Hv)T(IH)v=0v,vRnrange(H)range(IH)

n=dimrange(H)+dimrange(IH)=rank(H)+rank(IH)=rank(X)+r.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.