Почему след

В модели ${y} = X \beta + \epsilon$ мы могли бы оценить $\beta$ используя нормальное уравнение:

$$\hat{\beta} = (X'X)^{-1}X'y,$$ и мы могли бы получить у =X & beta . $$\hat{y} = X \hat{\beta}.$$

Вектор невязок оценивается как

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

где

$$Q = I - X (X'X)^{-1} X'.$$

Мой вопрос заключается в том, как получить вывод

$$\textrm{tr}(Q) = n - p.$$

Заключение просто считает размеры векторных пространств. Однако это не совсем так.

Самые основные свойства матричного умножения показывают , что линейное преобразование представлено матрицей удовлетворяет$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

выставляя его в качестве оператора проекции . Поэтому его дополнение

$$\mathbb{Q} = 1 - \mathbb{H}$$

(как указано в вопросе) также является оператором проекции. След - это его ранг h (см. Ниже), откуда след Q равен n - h .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

Из самой формулы ясно, что является матрицей, связанной с композицией двух линейных преобразований J = ( X ' X ) - X ' и самого X. Первый ( J ) переводит п - вектор у в р -векторных р . Второй ( Х ) представляет собой преобразование из R р к R п определяется у = Х $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$, Его ранг не может превышать меньшее из этих двух измерений, которое в настройке наименьших квадратов всегда равно (но может быть меньше p , если J не имеет полного ранга). Следовательно , ранг композиции Н = Х J не может превышать ранг X . Правильный вывод , то есть$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

тогда и только тогда, когда J имеет полный ранг; и вообще n ≥ tr ( Q ) ≥ n - p . В первом случае модель называется «идентифицируемой» (для коэффициентов β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

будет иметь полный ранг тогда и только тогда, когда X ′ X обратим.$\mathbb{J}$$X^\prime X$

---

Геометрическая интерпретация

представляет ортогональную проекцию из n -векторов y (представляющих «отклик» или «зависимую переменную») на пространство, охватываемое столбцами X (представляющие «независимые переменные» или «ковариаты»). Разница Q = 1 - H показывает, как разложить любой n- вектор y на сумму векторов y = H ( y ) + Q ( y ) , где первое можно «предсказать» из X, а второе перпендикулярно ему. , Когда$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$столбцы генерируют p- мерное пространство (то есть не являются коллинеарными), ранг H - это p, а ранг Q - это n - p , что отражает n - p дополнительных измерений вариации в отклике, которые не представлены в пределах независимых переменных. След дает алгебраическую формулу для этих измерений.$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Линейная алгебра Фон

Оператор проекции на векторном пространстве (например, R п ) представляет собой линейное преобразование Р : V → V (то есть, эндоморфизм из V ) таким образом, что Р 2 = Р . Это делает его дополнение Q = 1 - P оператором проекции тоже, потому что$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Все проекции фиксируют каждый элемент своих изображений, потому что всякий раз, когда мы можем записать v = P ( w ) для некоторого w ∈ V , откуда w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Associated with any endomorphism $\mathbb{P}$ of $V$ are two subspaces: its kernel

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ and its image $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ Every vector $v\in V$ can be written in the form $$v = w+u$$ where $w\in \text{Im}(\mathbb{P})$ and $u\in \text{Ker}(\mathbb{P})$. We may therefore construct a basis $E \cup F$ for $V$ for which $E \subset \text{Ker}(\mathbb{P})$ and $F \subset \text{Im}(\mathbb{P})$. When $V$ is finite-dimensional, the matrix of $\mathbb{P}$ in this basis will therefore be in block-diagonal form, with one block (corresponding to the action of $\mathbb{P}$ on $E$) all zeros and the other (corresponding to the action of $\mathbb{P}$ on $F$) equal to the $f$ by $f$ identity matrix, where the dimension of $F$ is $f$. The trace of $\mathbb{P}$ is the sum of the values on the diagonal and therefore must equal $f\times 1 = f$. This number is the rank of $\mathbb{P}$: the dimension of its image.

The trace of $1-\mathbb{P}$ equals the trace of $1$ (equal to $n$, the dimension of $V$) minus the trace of $\mathbb{P}$.

These results may be summarized with the assertion that the trace of a projection equals its rank.

@Dougal has already given an answer, but here is another one, a bit simpler.

First, let's use the fact that $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$. So, we get:

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ Now $I$ is an $n \times n$ identity matrix, so $\tr(I) = n$. Now let's use the fact that $\tr(AB) = \tr(BA)$, that is, the trace is invariant under cyclic permutations. So, we have: $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ When we multiply $(X'X)^{-1}$ with $(X'X)$, we get a $p \times p$ identity matrix, whose trace is $p$. So, we get: $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$Assume that $n \le p$ and that $X$ is full-rank.

Consider the compact singular value decomposition $X = U \Sigma V^T$, where $\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.