Эффект переключения ответа и объясняющей переменной в простой линейной регрессии

48

Допустим, существует некоторая «истинная» связь между и такая что , где и - константы, а - нормальный шум. Когда я случайным образом генерирую данные из этого кода R: а затем подгоняю к подобной модели , я, очевидно, получаю достаточно хорошие оценки для и . $y$ $x$ $y = ax + b + \epsilon$ $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

Однако если я переключу роль переменных, как в (x ~ y), и затем перезапишу результат, чтобы была функцией от , результирующий наклон всегда будет круче (либо более отрицательным, либо более положительным), чем тот, который оценивается регрессией. Я пытаюсь точно понять, почему это так, и был бы признателен, если бы кто-нибудь дал мне интуитивное представление о том, что там происходит. $y$ $x$ y ~ x

regression

— Грег Апонте
источник

1

Это не правда в целом. Возможно, вы просто видите это в своих данных. Вставьте этот код: y = rnorm (10); х = норм (10); лм (у ~ х); лм (х ~ у); в R несколько раз, и вы обнаружите, что он идет в обе стороны.

— Макро

Это немного отличается от того, что я описывал. В вашем примере y вообще не была функцией x, так что на самом деле никакого «наклона» нет (в моем примере это «a»).

— Грег Апонте

lm (y ~ x) соответствует модели по наименьшим квадратам (эквивалентно оценке ML, когда ошибки нормальны). Есть склон.

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$

— Макро

2

Ваш вопрос задают и получают ответы (вроде) на stats.stackexchange.com/questions/13126 и stats.stackexchange.com/questions/18434 . Тем не менее, я полагаю, что никто еще не внес простого и ясного объяснения взаимосвязей между (а) регрессией против , (б) регрессией против , (в) анализом соотношения и , (d) регрессия ошибок в переменных и и (e) подгонка двумерного нормального распределения к . Это было бы хорошее место для такой экспозиции :-).

Y

$Y$

X

$X$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

(X, Y)

$(X,Y)$

— whuber

2

Конечно, макрос верен: поскольку x и y играют одинаковые роли в вопросе, то, какой наклон является более экстремальным, зависит от случая. Однако геометрия предполагает (неправильно), что когда мы обращаем x и y в регрессии, мы должны получить обратную величину исходного наклона. Это никогда не происходит, за исключением случаев, когда x и y линейно зависимы. Этот вопрос можно интерпретировать как вопрос, почему.

— whuber

23

Для точек данных , на плоскости нарисуем прямую линию . Если мы прогнозируем как значение для , то ошибка будет равна , а квадратичная ошибка будет равна , и общая квадратичная ошибка . Мы просим $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

Какой выбор и минимизирует ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Поскольку - это вертикальное расстояние от прямой линии, мы запрашиваем такую линию, чтобы сумма квадратов вертикальных расстояний точек от линии была такой же маленькой, как возможно. Теперь является квадратичной функцией как и и достигает своего минимального значения, когда и таковы, что Из второго уравнения получаем где $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$ - среднее арифметическое значения и соответственно. Подставляя в первое уравнение, мы получаем Таким образом, линия, которая минимизирует может быть выражена как и минимальное значение составляет

y_{i}

$y_i$

x_{i}

$x_i$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Если мы поменяемся ролями и , нарисуем линию и запросим значения и которые минимизируют то есть мы хотим, чтобы линия была такой, чтобы сумма квадратов горизонтальных расстояний точек от линия как можно меньше, то мы получим $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ и минимальное значение is

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Обратите внимание, что обе линии проходят через точку но наклоны имеют в целом отличаются. Действительно, как указывает @whuber в комментарии, наклоны одинаковы, когда все точки лежат на одной прямой линии. Чтобы увидеть это, обратите внимание, что $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Дилип Сарватэ
источник

Спасибо! abs (корреляция) <1 объясняет, почему наклон был систематически круче в обратном случае.

— Грег Апонте

(+1) но я добавил ответ только с иллюстрацией того, что вы только что сказали, так как у меня геометрический разум :)

— Элвис

Классный ответ (+1)

— Digio

39

Просто чтобы проиллюстрировать ответ Дилипа: на следующих рисунках

черные точки являются точками данных;
слева черная линия является полученной линией регрессии y ~ x, которая минимизирует квадраты длины красных сегментов;
справа черная линия - это полученная линия регрессии x ~ y, которая минимизирует квадраты длины красных сегментов.

линии регрессии

Изменить (регрессия наименьших прямоугольников)

Если нет естественного способа выбрать «ответ» и «ковариату», а две переменные взаимозависимы, возможно, вы захотите сохранить симметричную роль для и ; в этом случае вы можете использовать «регрессию наименьших прямоугольников». $y$ $x$

напишите , как обычно; $Y = aX + b + \epsilon$
обозначим и оценки условные для и условные для ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
минимизировать, что приводит к $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Вот иллюстрация с теми же точками данных, для каждой точки «прямоугольник» вычисляется как произведение длины двух красных сегментов, а сумма прямоугольников минимизируется. Я не знаю много о свойствах этой регрессии, и я не нахожу много с Google.

наименьшие прямоугольники

— Элвис
источник

14

Некоторые примечания: ( 1 ) Если я не ошибаюсь, кажется, что «регрессия наименьших прямоугольников» эквивалентна решению, полученному при взятии первого главного компонента в матрице после центрирования и масштабирование, чтобы иметь единичную дисперсию, а затем замену на обратную. (продолжение)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— кардинал

14

(продолжение) ( 2 ) С этой точки зрения легко увидеть, что эта «регрессия наименьших прямоугольников» эквивалентна форме ортогональных (или общих) наименьших квадратов и, таким образом, ( 3 ) особый случай регрессии Деминга на центрированные, масштабированные векторы, принимающие . Ортогональные наименьшие квадраты можно рассматривать как «регрессию наименьших кругов».

δ = 1

$\delta = 1$

— кардинал

2

@cardinal Очень интересные комментарии! (+1) Я полагаю, что большая ось (минимизация перпендикулярных расстояний между линией измерения и всеми точками, как PCA) или уменьшенная регрессия по главной оси , или регрессия типа II, как показано в пакете lmodel2 R от P Legendre, также применимы здесь поскольку эти методы используются, когда трудно сказать, какую роль (ответ или предиктор) играет каждая переменная или когда мы хотим учесть ошибки измерения.

— ЧЛ

1

@chl: (+1) Да, я верю, что вы правы, и на странице Википедии о наименьших квадратах перечислены несколько других имен для той же процедуры, не все из которых я знаком. Похоже, что он восходит, по крайней мере, к Р. Фришу, Статистический анализ слияния посредством полных регрессионных систем , Universitetets Økonomiske Instituut, 1934, где он назывался диагональной регрессией .

— кардинал

3

@cardinal Я должен был быть более осторожным при чтении статьи в Википедии ... Для дальнейшего использования приведу снимок, сделанный из проекта «Биостатистический дизайн и анализ с использованием R » М. Логана (Wiley, 2010; рис. 8.4, стр. 174) , который суммирует различные подходы, во многом как хорошие иллюстрации Элвиса.

— ЧЛ

13

Просто краткая заметка о том, почему вы видите наклон меньше для одной регрессии. Оба наклона зависят от трех чисел: стандартных отклонений и ( и ) и корреляции между и ( ). Регрессия с качестве ответа имеет наклон а регрессия с качестве ответа имеет наклон , следовательно, Отношение первого наклона к обратному второму равно . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Таким образом, чем больше объясняется доля дисперсии, тем ближе уклоны, полученные в каждом случае. Обратите внимание, что объясненная доля дисперсии симметрична и равна квадрату корреляции в простой линейной регрессии.

— probabilityislogic
источник

1

Простой способ взглянуть на это - заметить, что если для истинной модели , вы запускаете две регрессии: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Тогда мы имеем, используя : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Так что, получите ли вы более крутой уклон или нет, зависит только от отношения . Это соотношение равно, исходя из предполагаемой истинной модели: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Связь с другими ответами

Вы можете связать этот результат с ответами других, которые сказали, что когда , он должен быть взаимным. Действительно, , а также (без ошибки оценки), следовательно: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Так что $b_{x\sim y}=1/\beta$

— Matifou
источник

0

Это становится интересным, когда на ваших входах также присутствует шум (который, как мы могли бы утверждать, всегда имеет место, никакая команда или наблюдение никогда не бывает идеальным).

Я построил некоторые симуляции, чтобы наблюдать явление, основанное на простой линейной зависимости , с гауссовым шумом на x и y. Я сгенерировал наблюдения следующим образом (код Python): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Посмотрите на разные результаты (здесь odr - регрессия ортогонального расстояния, то есть такая же, как регрессия наименьших прямоугольников):

Весь код там:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— Левек
источник

0

Линия регрессии не всегда совпадает с истинным отношением

Вы можете иметь некоторые «истинные» причинно-следственные связи, такие как

y = a + b x + ϵ

$y = a + bx + \epsilon$

но соответствуют регрессионным линиям y ~ xили x ~ yне означают то же, что и эти причинно-следственные связи (даже если на практике выражение для одной из регрессионных линий может совпадать с выражением для причинно-следственной «истинной» связи)

Более точные отношения между склонами

Для двух переключаемых простых линейных регрессий:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

Вы можете связать склоны следующим образом:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Таким образом, склоны не являются друг друга обратными.

Интуиция

Причина в том, что

Линии регрессии и корреляции не обязательно соответствуют причинно-следственной связи.
Линии регрессии более непосредственно связаны с условной вероятностью или лучшим прогнозом.

Вы можете представить, что условная вероятность связана с силой отношений. Линии регрессии отражают это, и наклоны линий могут быть как неглубокими, когда сила отношения мала, так и крутыми, когда сила отношения сильна. Склоны не просто обратные.

пример

Если две переменных и связаны друг с другом какой - либо (причинной) линейной зависимостью Тогда вы можете себе представить , что было бы не хорошо , чтобы полностью изменить эту связь в случае , если вы хотите , чтобы выразить на основе заданного значения . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Вместо

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

было бы лучше также использовать

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

Смотрите следующие примеры распределений с соответствующими им линиями регрессии. Распределения являются многомерными нормальными с и $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Условные ожидаемые значения (что вы получили бы в линейной регрессии)

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

и в этом случае с многомерное нормальное распределение, то маргинальные распределения $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Таким образом, вы можете увидеть переменную Y как часть и часть шума с дисперсией . То же самое верно и наоборот. $\rho X$ $1-\rho^2$

Чем больше коэффициент корреляции , тем ближе две линии будут. Но чем ниже корреляция, тем менее сильные отношения, тем менее крутыми будут линии (это верно как для линий, так и для ) $\rho$ Y ~ XX ~ Y

— Секст Эмпирик
источник

0

Краткий ответ

Цель простой линейной регрессии состоит в том, чтобы придумать лучшие предсказания yпеременной, учитывая значения xпеременной. Это другая цель, чем пытаться придумать лучший прогноз xпеременной, учитывая значения yпеременной.

Простая линейная регрессия y ~ xдает «лучшую» возможную модель для прогнозирования yдано x. Следовательно, если вы подходите для модели x ~ yи алгебраически инвертируете ее, эта модель в лучшем случае может делать то же самое, что и модель для y ~ x. Но инверсия модели, подходящей для, x ~ yбудет обычно хуже предсказывать yданные x, по сравнению с «оптимальной» y ~ xмоделью, потому что «инвертированная x ~ yмодель» была создана для достижения другой цели.

иллюстрация

Представьте, что у вас есть следующий набор данных:

Когда вы запускаете регрессию OLS y ~ x, вы получаете следующую модель

y = 0.167 + 1.5*x

Это оптимизирует прогнозы y, делая следующие прогнозы, которые связаны с ошибками:

Прогнозы регрессии OLS являются оптимальными в том смысле, что сумма значений в крайнем правом столбце (т.е. сумма квадратов) настолько мала, насколько это возможно.

Когда вы запускаете регрессию OLS x ~ y, вы получаете другую модель:

x = -0.07 + 0.64*y

Это оптимизирует прогнозы x, делая следующие прогнозы со связанными ошибками.

Опять же, это оптимально в том смысле, что сумма значений самого правого столбца настолько мала, насколько это возможно (равно 0.071).

Теперь представьте, что вы пытались просто инвертировать первую модель y = 0.167 + 1.5*x, используя алгебру, чтобы дать вам модель x = -0.11 + 0.67*x.

Это даст вам следующие прогнозы и связанные с ними ошибки:

Сумма значений в крайнем правом столбце 0.074больше, чем соответствующая сумма из модели, которую вы получаете путем регрессии x на y, то есть x ~ yмодели. Другими словами, «перевернутая y ~ xмодель» выполняет предсказание х хуже, чем модель OLS x ~ y.

— bschneidr
источник