Интуиция позади в замкнутой форме w в линейной регрессии

Замкнутая форма w в линейной регрессии может быть записана как

$\hat{w}=(X^TX)^{-1}X^Ty$

Как мы можем интуитивно объяснить роль в этом уравнении?$(X^TX)^{-1}$

Я нашел эти сообщения особенно полезными:

Как вывести оценку наименьших квадратов для множественной линейной регрессии?

Отношения между СВД и СПС. Как использовать SVD для выполнения PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Если представляет собой п × р матрица , то матрица Х ( Х Т Х ) - 1 х Т определяет проекцию на колонке пространства X . Интуитивно понятно, что у вас есть переопределенная система уравнений, но вы все еще хотите использовать ее для определения линейной карты R p → R, которая будет отображать строки x i из X во что-то близкое к значениям y i , i ∈ { 1 , … , n $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$, Поэтому мы согласны с отправкой к ближайшей вещи к y, которая может быть выражена как линейная комбинация ваших объектов (столбцы X ). $X$$y$$X$

Что касается интерпретации , у меня пока нет удивительного ответа. Я знаю, что вы можете думать о ( X T X ) как о ковариационной матрице набора данных.$(X^TX)^{-1}$$(X^TX)$

Геометрическая точка зрения

Геометрическая точка зрения , может быть , как п-мерные векторы и X & beta ;, являющихся точками в п-мерном пространстве V . Там , где Х β также в подпространстве W , натянутое на векторы х 1 , х 2 , ⋯ , х м .$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Два типа координат

Для этого подпространства мы можем представить два разных типа координат :$W$

• В $\boldsymbol{\beta}$ , как координаты для регулярных координат пространства. Вектор в пространстве W представляет собой линейную комбинацию векторов x i z = β 1 x 1 + β 2 x 1 + . , , , β м х $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• В $\boldsymbol{\alpha}$ не являются координатами в регулярном смысле, но они определяют точку в подпространстве . Каждый α i относится к перпендикулярным проекциям на векторы x i . Если мы используем единичные векторы x i (для простоты), то «координаты» α i для вектора z можно выразить как:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  и набор всех координат как:

Отображение между координатами и $\boldsymbol{\alpha}$$\boldsymbol{\beta}$

для выражение «координаты» α становится преобразованием из координат β в «координаты» $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Вы можете видеть как выражение того, сколько каждый x i проецирует на другой x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Тогда геометрическую интерпретацию можно рассматривать как карту от векторной проекции «координат» α до линейных координат β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Выражение дает проекцию «координаты» y и ( X T X ) - 1 превращает их в β .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Примечание : проекционная «координата» такой же , как «проекционных координаты» от у , так как ( у - у ) ⊥ X .$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$