Связь между

Допустим, у меня есть два одномерных массива, $a_1$ и . Каждый содержит 100 точек данных. - фактические данные, а - прогноз модели. В этом случае значение будет следующим: Между тем, это будет равно квадратному значению коэффициента корреляции, Теперь, если я поменяю местами: - это фактические данные, а - прогноз модели. Из уравнения$a_2$$a_1$$a_2$$R^2$

$$R^2 = 1 - \frac{SS_{res}}{SS_{tot}} \quad\quad\quad\quad\quad\ \ \quad\quad(1).$$ $$R^2 = (\text{Correlation Coefficient})^2 \quad (2).$$ $a_2$$a_1$$(2)$Так как коэффициент корреляции не имеет значения, что будет первым, значение $R^2$ будет таким же. Тем не менее, из уравнения $(1)$ , $SS_{tot}=\sum_i(y_i - \bar y )^2$ , то значение будет меняться, так как изменилось , если мы включаем от к ; в то же время не изменяется. S S т о т у а 1 2 S S R é сек = Е I ( F I$R^2$$SS_{tot}$$y$$a_1$$a_2$$SS_{res}=\sum_i(f_i-\bar y)^2$

Мой вопрос: как они могут противоречить друг другу?

Редактировать :

1. Мне было интересно, будут ли отношения в формуле. (2) все еще стоять, если это не простая линейная регрессия, т. Е. Взаимосвязь между IV и DV не является линейной (может быть экспоненциальной / log)?

2. Сохранятся ли эти отношения, если сумма ошибок предсказания не равна нулю?

Это верно , что $SS_{tot}$ изменится ... но вы забыли о том , что регрессия сумма квадратов будет меняться. Итак, давайте рассмотрим простую модель регрессии и обозначим коэффициент корреляции как $r_{xy}^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}$ , где я использовал субиндекс$xy$чтобы подчеркнуть тот факт, что$x$является независимой переменной, а$y$является зависимой переменной. Очевидно, что$r_{xy}^2$ не изменится, если вы поменяете местами$x$с$y$. Легко показать, что$SSR_{xy}=S_{yy}(R_{xy}^2)$, где$SSR_{xy}$- сумма регрессии квадратов и $S_{yy}$ - общая сумма квадратов, где$x$ является независимым, а$y$ является зависимой переменной. Следовательно:гдеSSExy- соответствующая остаточная сумма квадратов, гдеxявляется независимым, аyявляется зависимой переменной. Обратите внимание, что в этом случае мы имеемSSExy=b2 x y Sxxсb=Sx

$$R_{xy}^2=\dfrac{SSR_{xy}}{S_{yy}}=\dfrac{S_{yy}-SSE_{xy}}{S_{yy}},$$ $SSE_{xy}$$x$$y$$SSE_{xy}=b^2_{xy}S_{xx}$ (см., Например, уравнение (34) - (41)здесь.) Следовательно:R2 x y =Syy- S 2 x $b=\dfrac{S_{xy}}{S_{xx}}$Очевидно, что вышеприведенное уравнение симметрично относительноxиy. Другими словами:R2 x y =R2 y x . Подводя итог, когда вы меняетеxнаyв простой регрессионной модели, числитель и знаменательR2 x y =SSRx $$R_{xy}^2=\dfrac{S_{yy}-\dfrac{S^2_{xy}}{S^2_{xx}}.S_{xx}}{S_{yy}}=\dfrac{S_{yy}S_{xx}-S^2_{xy}}{S_{xx}.S_{yy}}.$$ $x$$y$ $$R_{xy}^2=R_{yx}^2.$$ $x$$y$ изменится так, чтоR2 x y =R2 y x$R_{xy}^2=\dfrac{SSR_{xy}}{S_{yy}}$$R_{xy}^2=R_{yx}^2.$

Один из способов интерпретации коэффициент детерминации должен смотреть на него как коэффициент корреляции Пирсона Брусковый между наблюдаемыми значениями у я и подобранными значениями у я .$R^{2}$$y_{i}$$\hat{y}_{i}$

Полное доказательство того, как вывести коэффициент детерминации R2 из квадратичного коэффициента корреляции Пирсона между наблюдаемыми значениями yi и подобранными значениями y ^ i, можно найти по следующей ссылке:

http://economictheoryblog.wordpress.com/2014/11/05/proof/

На мой взгляд, это должно быть довольно легко понять, просто следуйте простым шагам. Я думаю, что важно понять, как на самом деле работает взаимодействие между двумя ключевыми фигурами.

В случае простой линейной регрессии только с одним предиктором . Но при множественной линейной регрессии с более чем одним предиктором концепция корреляции между предикторами и ответом не распространяется автоматически. Формула получает: $R^2 = r^2 = Corr(x,y)^2$

$$R^2 = Corr(y_{estimated},y_{observed})^2$$

Квадрат корреляции между откликом и подобранной линейной моделью.

@Stat предоставил подробный ответ. В своем коротком ответе я кратко покажу несколько иным образом, в чем сходство и различие между и r 2 .$r$$r^2$

представляет собой стандартизованный коэффициент регрессиибетаиз Y с помощью X или X на Y икак таковое, оно является мерой (взаимной)величины эффекта. Что наиболее четко видно, когда переменные являются дихотомическими. Тогда r , например, .30 означает, что 30% случаев изменит свое значение на противоположное в одной переменной, когда другая переменная изменит свое значение на противоположное.$r$$Y$$X$$X$$Y$$r$$.30$

, с другой стороны, является выражениемдоли совместной изменчивостив общей изменчивости: r 2 = ( c o $r^2$$r^2 = (\frac {cov}{\sigma_x \sigma_y})^2 = \frac {|cov|} {\sigma_x^2} \frac {|cov|} {\sigma_y^2}$$r^2$$\sqrt{prop*prop}$, which is very $r$.

(The two ratios are multiplicative, not additive, to stress the idea that they collaborate and cannot compensate for each other, in their teamwork. They have to be multiplicative because the magnitude of $cov$ is dependent on both magnitudes $\sigma_x^2$ and $\sigma_y^2$ and, conformably, $cov$ has to be divided two times in once - in order to convert itself to a proper "proportion of the shared variance". But $cov$, the "cross-variance", shares the same measurement units with both $\sigma_x^2$ and $\sigma_y^2$, the "self-variances", and not with $\sigma_x \sigma_y$, the "hybrid variance"; that is why $r^2$, not $r$, is more adequate as the "proportion of shared variance".)

So, you see that meaning of $r$ and $r^2$ as a measure of the quantity of the association is different (both meanings valid), but still these coefficients in no way contradict each other. And both are the same whether you predict $Y\text~X$ or $X\text~Y$.

I think you might be mistaken. If $R^2=r^2$, I assume you have a bivariate model: one DV, one IV. I don't think $R^2$ will change if you swap these, nor if you replace the IV with the predictions of the DV that are based on the IV. Here's code for a demonstration in R:

x=rnorm(1000); y=rnorm(1000)              # store random data
summary(lm(y~x))                          # fit a linear regression model (a)
summary(lm(x~y))                          # swap variables and fit the opposite model (b)
z=lm(y~x)$fitted.values; summary(lm(y~z)) # substitute predictions for IV in model (a)

If you aren't working with a bivariate model, your choice of DV will affect $R^2$...unless your variables are all identically correlated, I suppose, but this isn't much of an exception. If all the variables have identical strengths of correlation and also share the same portions of the DV's variance (e.g. [or maybe "i.e."], if some of the variables are completely identical), you could just reduce this to a bivariate model without losing any information. Whether you do or don't, $R^2$ still wouldn't change.

In all other cases I can think of with more than two variables, $R^2\ne r^2$ where $R^2$ is the coefficient of determination and $r$ is a bivariate correlation coefficient of any kind (not necessarily Pearson's; e.g., possibly also a Spearman's $\rho$).