Почему RSS распространяется через квадраты времени np?

Я хотел бы понять, почему в рамках модели OLS RSS (остаточная сумма квадратов) распределяется ( - это число параметров в модели, - количество наблюдений).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Я прошу прощения за то, что задал такой простой вопрос, но мне кажется, что я не могу найти ответ онлайн (или в моих, более ориентированных на приложения, учебниках).

regression distributions least-squares

— Таль Галили
источник

Обратите внимание, что ответы демонстрируют, что утверждение не совсем верно: распределение RSS в (не ) раз превышает где - истинная дисперсия ошибок.

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

Ответы:

Я рассматриваю следующую линейную модель: . ${y} = X \beta + \epsilon$

Вектор невязок оценивается как

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

где . $Q = I - X (X'X)^{-1} X'$

Заметим, что $\textrm{tr}(Q) = n - p$ (след инвариантен относительно циклической перестановки) и что $Q'=Q=Q^2$ . Следовательно, собственные значения $Q$ равны $0$ и $1$ (некоторые детали приведены ниже). Следовательно, существует унитарная матрица $V$ такая, что ( матрицы диагонализируются унитарными матрицами тогда и только тогда, когда они нормальны ).

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

Теперь пусть . $K = V' \hat{\epsilon}$

Поскольку , мы имеем и, следовательно, . таким образом $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

с . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Кроме того, поскольку является унитарной матрицей, мы также имеем $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

таким образом

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Наконец, обратите внимание, что этот результат подразумевает, что

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

Поскольку , минимальный многочлен от делит многочлен . Итак, собственные значения находятся среди и . Поскольку также является суммой собственных значений, умноженных на их кратность, мы обязательно имеем, что является собственным значением с кратностью а ноль является собственным значением с кратностью . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— ocram
источник

(+1) Хороший ответ. Можно ограничить внимание ортогональным, а не унитарным поскольку вещественно и симметрично. Кроме того, что такое ? Я не вижу, что это определено. Слегка переназначив аргумент, можно также избежать использования вырожденной нормали в случае, если это вызывает некоторый испуг у тех, кто не знаком с ним.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— кардинал

@Cardinal. Хорошая точка зрения. SCR («Somme des Carrés Résiduels» на французском языке) должен был быть RSS.

— Октябрь

Спасибо за подробный ответ Ocram! Некоторые шаги потребуют, чтобы я посмотрел больше, но у меня есть план, чтобы подумать сейчас - спасибо!

— Тал Галили

@Glen_b: О, я сделал пару дней назад, чтобы изменить SCR на SRR. Я не помнил, что SCR упоминается в моем комментарии. Извините за путаницу.

— ocram

@Glen_b: Это должно было означать RSS: -S Отредактировано снова. Thx

— ocram

ИМХО, матричная запись усложняет. Чисто векторное пространство языка чище. Модель можно записать в виде где имеет стандартное нормальное распределение на и предполагается, что принадлежит векторному подпространству . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

Теперь в игру вступает язык элементарной геометрии. наименьших квадратов of - это не что иное, как : ортогональная проекция наблюдаемой на пространство которому, как предполагается, принадлежит . Вектор невязок - это : проекция на ортогональное дополнение к в . Размерность равна . $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

Наконец, а имеет стандартное нормальное распределение на , следовательно, его квадратная норма имеет распределение с степенями свободы.

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Эта демонстрация использует только одну теорему, фактически теорему определения:

Определение и теорема . Случайный вектор в имеет стандартное нормальное распределение в векторном пространстве если он принимает свои значения в и свои координаты в одном ( во всех) ортонормированном базисе из являются независимыми одномерные стандартные нормальные распределения $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(из этой теоремы определения теорема Кохрана настолько очевидна, что не стоит ее формулировать)

— Стефан Лоран
источник

Как только мы установим, что , мы можем применить следующую лемму: $\hat\epsilon=(I-H)\epsilon$

Лемма: Если является симметричной и идемпотентной вещественной матрицей, то существует матрицу с ортонормированными столбцами , такими , что . Матрица является , где равен рангу . $A_{n\times n}$ $U$ $A=UU^T$ $U$ $n\times r$ $r$ $A$

Доказательство: спектральная теорема для симметричных матриц утверждает, чтогде- диагональная матрица собственных значенийдляи- ортогональная матрица, столбцами которой являются соответствующие собственные векторы. Посколькуидемпотент, каждое собственное значение равно нулю или единице (причина:влечет). Удалить изстолбцы, соответствующие нулевому собственному значению, оставивматрицу; диагональная матрица $A=UDU^T$ $D_{n\times n}$ $\lambda_1,\ldots,\lambda_n$ $A$ $U_{n\times n}$ $u_1,\ldots,u_n$ $A$ $Au=\lambda u$ $\lambda u =Au=A(Au)=A\lambda u=\lambda^2u$ $U$ $n\times r$ $D$ становится личностью. Чтобы определить , обратите внимание, что каждый столбец, остающийся в удовлетворяет , следовательно, они образуют основу для диапазона ; так что . $r$ $U$ $Au_i=u_i$ $A$ $\operatorname {rank}(A)=r$

Применяя лемму, напишите где имеет ортонормированные столбцы и . Тогда . Заметим, что является мерным случайным вектором, имеющим многомерное нормальное распределение со средним нулем и ковариационной матрицей и это Заключить - это сумма квадратов $I-H=UU^T$ $U_{n\times r}$ $r=\operatorname{rank}(I-H)$ $\hat\epsilon:=(I-H)\epsilon=U(U^T\epsilon)$ $N:=U^T\epsilon$ $r$

Var (N) = E (U^{T} ϵ) (U^{T} ϵ)^{T} = U^{T} E (ϵ ϵ^{T}) U = σ^{2} (U^{T} U) = σ^{2} I_{r \times r}

$\operatorname{Var}(N)=E(U^T\epsilon)(U^T\epsilon)^T=U^TE(\epsilon\epsilon^T)U=\sigma^2 (U^TU)=\sigma^2I_{r\times r}$

RSS := {\hat{ϵ}}^{T} \hat{ϵ} = (U N)^{T} (U N) = N^{T} (U^{T} U) N = N^{T} N .

$\operatorname{RSS}:=\hat\epsilon^T\hat\epsilon=(UN)^T(UN)=N^T(U^TU)N=N^TN.$

RSS / σ^{2}

$\operatorname{RSS}/\sigma^2$

r

$r$ IID стандартные нормальные переменные и, следовательно, имеет распределение хи-квадрат ( ).

r

$r$

Чтобы закончить, находим : рассмотрим для разложение . Идемпотентность подразумевает для всех , откуда является прямой суммой подпространств и и т. $r=n-\operatorname{rank}(X)$ $v\in{\mathbb R}^n$ $v=Hv + (I-H)v$ $H$ $(Hv)^T(I-H)v'=0$ $v,v'$ ${\mathbb R}^n$ $\operatorname{range}(H)$ $\operatorname{range}(I-H)$

n = \dim range (H) + \dim range (I - H) = rank (H) + rank (I - H) = rank (X) + r .

$n=\operatorname{dim}\operatorname{range}(H) + \operatorname{dim}\operatorname{range}(I-H) =\operatorname{rank}(H) + \operatorname{rank}(I-H) = \operatorname{rank}(X)+r.$

— grand_chat
источник