Какое значение имеет матрица в линейной регрессии?

Какова важность шляпной матрицы в регрессионном анализе?$H=X(X^{\prime}X )^{-1}X^{\prime}$

Это только для облегчения расчета?

При изучении линейной регрессии основной отправной точкой является процесс генерации данных где и детерминированный. После минимизации критерия наименьших квадратов можно найти оценщик для , то есть . После подключения оценщика к исходной формуле в качестве линейной модели процесса генерирования данных можно получить . Теперь можно заменить оценщик на$\textbf{y= XB + u} \quad$$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$и получает$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Таким образом, на самом деле является проекционной матрицей. Представьте, что вы берете все переменные в . Переменные являются векторами и охватывают пространство. Следовательно, если вы умножаете на , вы проецируете свои наблюдаемые значения в на пространство, охватываемое переменными в . Он дает оценки для и именно поэтому он называется шляпной матрицей и почему он так важен. В конце концов, линейная регрессия - не более чем проекция, и с помощью матрицы проекции мы не можем только вычислить оценки для$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$но также для и может, например, проверить, действительно ли он распространяется нормально.$\textbf{u}$

Я нашел эту красивую картинку в интернете, и она визуализирует эту проекцию. Обратите внимание, используется вместо . Кроме того, на рисунке подчеркивается, что вектор слагаемых ошибок ортогонален проекции и, следовательно, не коррелирует с оценками для$\beta$$\textbf{B}$$\textbf{y}$

Шляпная матрица очень полезна по нескольким причинам:

1. Вместо , мы получаем это где - матрица шляпы. Это дает нам, что является линейным отображением наблюдаемых значений.$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. Из шляпной матрицы легко вычислить невязки . Мы видим, что .$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Это не более чем нахождение «ближайшего» решения для Ax = b, где b не находится в пространстве столбцов A. Мы проецируем b на пространство столбцов и решаем для Ax (hat) = p, где p - проекция b на пространство столбца.