Геометрическая интерпретация коэффициента множественной корреляции и коэффициента детерминации

Меня интересует геометрический смысл множественной корреляции и коэффициента детерминации в регрессии или в векторной записи, $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

Здесь матрица дизайна имеет строк и столбцов, первым из которых является , вектор единиц, соответствующий перехвату . $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

Геометрия более интересна в мерном пространстве предметов, нежели в мерном пространстве переменных. Определите матрицу шляпы: $n$ $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

Это ортогональная проекция на пространство столбцов , т. Е. Плоскость через начало координат, охватываемая векторами, представляющими каждую переменную , первая из которых . Затем проецирует вектор наблюдаемых откликов на свою "тень" на плоскость, вектор подходящих значений , и если мы посмотрев вдоль пути проекции, мы увидим вектор невязок образует третью сторону треугольника. Это должно дать нам два пути к геометрической интерпретации $\mathbf{X}$ $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $R^2$ :

Квадрат коэффициента множественной корреляции , который определяется как корреляция между и . Это будет выглядеть геометрически как косинус угла. $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
В терминах длин векторов: например, . $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Я был бы рад увидеть краткий отчет, который объясняет:

Более мелкие детали для (1) и (2),
Почему (1) и (2) эквивалентны,
Вкратце, как геометрическая проницательность позволяет нам визуализировать основные свойства $R^2$ , например, почему он становится равным 1, когда дисперсия шума становится равной 0. (В конце концов, если мы не можем интуитивно понять нашу визуализацию, то это не более чем Приятная картина.)

Я ценю, что это более просто, если переменные центрируются первыми, что убирает перехват из вопроса. Однако в большинстве описаний учебников, которые вводят множественную регрессию, матрица дизайна , как я изложил. Конечно, было бы хорошо, если экспозиция копается в пространстве, охватываемом центрированными переменными, но для понимания линейной алгебры из учебника было бы очень полезно связать это обратно с тем, что происходит геометрически в нецентрированной ситуации. Действительно проницательный ответ мог бы объяснить , что именно разрушение геометрически , когда термин перехватывать отбрасывается - то есть , когда вектор $\mathbf{X}$ $\mathbf{1}_n$ удаляется из связующего набора. Я не думаю, что этот последний момент можно решить, рассматривая только центрированные переменные.

— тарпон
источник

Если есть термин константы в модели затем лежит в пространстве столбцов матрицы (как это делает , которые придут в полезном в дальнейшем). Оборудованная представляет собой ортогональную проекцию наблюдаемой на плоскую , образованной этой колонке пространства. Это означает , что вектор остатков перпендикулярна к квартире, и , следовательно , к . Рассматривая скалярное произведение, мы можем видеть , поэтому компоненты $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ должно суммироваться до нуля. Так мы приходимвыводучто такчто оба подогнанные и наблюдаемые реакции имеют среднее . $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$

Vectors in subject space of multiple regression

Пунктирные линии на диаграмме представляют собой и , которые являются главным образом векторами для наблюдаемых и подогнанных ответов. Косинус угла & поэтому между этими векторами будет соотношение и , который по определению является множественный коэффициент корреляции . Треугольник эти векторы образуют с вектором невязок является прямоугольным , так как лежит в квартире , но $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ ортогонально этому. Следовательно: $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

Мы также можем применить Пифагор к треугольнику:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

Что может быть более знакомо, как:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

Это разложение сумм квадратов, . $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

Стандартное определение коэффициента детерминации:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Когда суммы квадратов можно разделить, требуется некоторая прямая алгебра, чтобы показать, что это эквивалентно формулировке «объясненная пропорция»,

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Существует геометрический способ увидеть это из треугольника с минимальной алгеброй. Формула определения дает и с помощью базовой тригонометрии мы можем упростить это до . Это связь между и . $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

Обратите внимание, насколько важно, чтобы в этом анализе был установлен термин «перехват», чтобы было в пространстве столбца. Без этого, остатки не подвели к нулю, а средний подогнанных значений не совпали с средним значением . В этом случае мы не могли бы нарисовать треугольник; суммы квадратов не разложились бы в пифагорейской манере; не имел бы часто цитируемый вид и не быть квадрат . В этой ситуации некоторые программы (в том числе ) используют другую формулу для целом $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$ ,

— тарпон
источник

+1 Очень хорошая рецензия и рисунок. Я удивлен, что у меня есть только один одинокий голос.

— говорит амеба, восстанови Монику

+1. Обратите внимание, что рисунок вашего ответа с «пространством столбцов X», Y, Ypred в качестве векторов и т. Д. - это то, что известно в многомерной статистике как «(уменьшенное) представление предметного пространства» ( см. Дополнительные ссылки, где я его использовал ).

— ttnphns