Эквивалентность выборочной корреляции и R-статистики для простой линейной регрессии

Часто утверждается, что квадрат выборочной корреляции эквивалентен коэффициенту определения для простой линейной регрессии. Я не смог продемонстрировать это сам и был бы признателен за полное доказательство этого факта.$r^2$$R^2$

Кажется, что есть некоторые различия в обозначениях: в простой линейной регрессии я обычно видел фразу «выборочный коэффициент корреляции» с символом в качестве ссылки на корреляцию между наблюдаемыми значениями и . Это обозначение, которое я принял для этого ответа. Я также видел ту же фразу и символ, использованный для обозначения корреляции между наблюдаемым и подобранным ; в моем ответе я говорил об этом как «множественный коэффициент корреляции» и используется символ . Этот ответ объясняет, почему коэффициент детерминации является как квадратом и квадратом$r$$x$$y$$y$$\hat y$$R$$r$$R$, поэтому не должно иметь значения, какое использование было предназначено.

Результат следует в одной строке алгебры, как только некоторые прямые факты о корреляции и значении установлены, поэтому вы можете предпочесть перейти к квадратному уравнению. Я предполагаю, что нам не нужно доказывать основные свойства ковариации и дисперсии, в частности:$r^2$$R$

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

Обратите внимание, что последнее может быть получено из первого, если мы знаем, что ковариация симметрична и что . Отсюда мы получаем еще один базовый факт о корреляции. Для и до тех пор, пока и имеют ненулевые дисперсии,$\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

Здесь - это функция signum или sign : ее значение равно если и если , Также верно, что если , но этот случай нас не касается: будет константой, поэтому в знаменатель, и мы не можем рассчитать корреляцию. Аргументы симметрии позволят обобщить этот результат для :$\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$$a=0$$aX+b$$\text{Var}(aX+b) = 0$$a, \, c \neq 0$

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

Нам не понадобится эта более общая формула для ответа на текущий вопрос, но я включил ее, чтобы подчеркнуть геометрию ситуации: она просто утверждает, что корреляция неизменна, когда переменная масштабируется или переводится, но меняет знак, когда переменная отражение.

Нам нужно еще один факт: для линейной модели , включающей постоянное слагаемое, коэффициент детерминации представляет собой квадрат множественного коэффициента корреляции , что корреляция между наблюдаемыми ответов и в модели подобранными значениями . Это относится как для нескольких простых и регрессий, но давайте ограничим наше внимание на простой линейной модели . Результат следует из наблюдения, что - это масштабированная, возможно отраженная и переведенная версия :$R^2$$R$$Y$$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

Таким образом, где знак соответствует знаку предполагаемого наклона, что гарантирует, что не будет отрицательным. Ясно, что .$R = \pm r$$R$$R^2 = r^2$

Предыдущий аргумент был упрощен тем, что не приходилось учитывать суммы квадратов. Чтобы достичь этого, я пропустил детали взаимосвязи между , о котором мы обычно думаем в терминах сумм квадратов, и , для которого мы думаем о корреляциях подходящих и наблюдаемых ответов. Символы делают отношения кажущимися тавтологическими, но это не так, и связь нарушается, если в модели нет термина «перехват»! Я дам краткий набросок геометрического аргумента об отношениях между и взятый из другого вопроса : диаграмма нарисована в мерном предметном пространстве$R^2$$R$$R^2 = (R)^2$$R$$R^2$$n$Таким образом, каждая ось (не показана) представляет собой единицу наблюдения, а переменные показаны в виде векторов. матрицы проектирования являются вектор (для постоянного члена) и вектор наблюдений объясняющей переменной, поэтому пространство столбцов является двумерной плоскостью.$\mathbf{X}$$\mathbf{1_n}$

Подгонка является ортогональной проекцией наблюдаемого на пространство столбцов . Это означает, что вектор невязок перпендикулярен плоскости и, следовательно, . Точечное произведение равно . Так как остатки суммируются до нуля и , то так что как подходящие, так и наблюдаемые ответы имеют среднее значение . Пунктирные линии на диаграмме и$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ , следовательно , являются главным образом векторами для наблюдаемых и подогнанных ответов, а косинус угла между ними их соотношением .$\theta$$R$

Треугольник, который эти векторы образуют с вектором невязок, является прямоугольным, поскольку лежит в плоскости, а ортогональна ей. Применяя Пифагор:$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Это просто разложение сумм квадратов, . Обычная формула для коэффициента детерминации равна которая в этом треугольнике равна так действительно квадрат . Возможно, вы более знакомы с формулой , которая сразу дает , но обратите внимание, что является более общим и, как мы только что видели, уменьшится до$SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ если постоянный член включен в модель .

определяется как Квадратный коэффициент корреляции выборки: эквивалентно, что легко проверить с помощью: (см. Verbeek , §2.4)$R^2$

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$