Корреляция между оценками OLS для перехвата и наклона

В простой регрессионной модели,

y = β_{0} + β_{1} x + ε,

$y = \beta_0 + \beta_1 x + \varepsilon,$

оценки OLS и коррелированы. $\hat{\beta}_0^{OLS}$ $\hat{\beta}_1^{OLS}$

Формула для корреляции между двумя оценками (если я вывел ее правильно):

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \sum_{i = 1}^{n} x_{i}}{\sqrt{n} \sqrt{\sum_{i = 1}^{n} x_{i}^{2}}} .

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }.$

Вопросов:

Что такое интуитивное объяснение наличия корреляции?
Имеет ли наличие корреляции какие-либо важные последствия?

Сообщение было отредактировано, и утверждение, что корреляция исчезает с размером выборки, было удалено. (Спасибо @whuber и @ChristophHanck.)

regression least-squares estimators

— Ричард Харди
источник

Формула верна, но не могли бы вы объяснить, какую асимптотику вы используете? Ведь во многих случаях корреляция не исчезает - она стабилизируется. Рассмотрим, например , эксперимент, в котором

являются двоичными, и предположим, что данные собираются путем чередования

между

. Тогда

и корреляция всегда будет близка к

x_{i}

$x_i$

x_{i}

$x_i$

1

$1$

0

$0$

\sum x_{i} = \sum x_{i}^{2} \approx n / 2

$\sum x_i = \sum x_i^2 \approx n/2$

, независимотогонасколько велика

становится.

\sqrt{2} / 2 \neq 0

$\sqrt{2}/2 \ne 0$

n

$n$

— whuber

Я хотел бы сказать , что это обращается в нуль только тогда , когда

: запись

E (X) = 0

$E(X)=0$

который склоняется к

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{N \sum_{i = 1}^{N} x_{i}^{2}}{N^{2}}}} = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{\sum_{i = 1}^{N} x_{i}^{2}}{N}}},

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{N\sum_{i=1}^{N}x_i^2}{N^2}}} = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{\sum_{i=1}^{N}x_i^2}{N}}},$

- E (X) / \sqrt{E (X^{2})}

$-E(X)/\sqrt{E(X^2)}$

— Кристоф Ханк,

Действительно, я пропустил один

когда выводил поведение корреляции при увеличении

. Так что, и Кристоф Ханк правы. Я все еще заинтересован в интуитивном объяснении того, почему корреляция отлична от нуля, во-первых, и любых полезных последствиях . (Я не говорю, что корреляция должна интуитивно быть нулевой, у меня просто нет никакой интуиции.)

n

$n$

n

$n$

— Ричард Харди

Ваша формула четко показывает, например, что для среднецентрированного регрессора

корреляция с перехватом исчезает.

x

$x$

— Майкл М,

Связанный: почему стандартная ошибка перехвата увеличивается с увеличением

от 0?

\bar{x}

$\bar x$

— gung - Восстановить Монику

Позвольте мне попробовать это следующим образом (на самом деле не уверен, что это полезно для интуиции):

Исходя из моего комментария выше, корреляция будет примерно равна Таким образом, есливместо, большая часть данных будет сгруппирована справа от нуля. Таким образом, если коэффициент наклона становится больше, формула корреляции утверждает, что пересечение должно стать меньше - что имеет некоторый смысл.

- \frac{E (X)}{\sqrt{E (X^{2})}}

$-\frac{E(X)}{\sqrt{E(X^2)}}$

E (X) > 0

$E(X)>0$

E (X) = 0

$E(X)=0$

Я думаю о чем-то вроде этого:

В синей выборке оценка наклона более плоская, что означает, что оценка пересечения может быть больше. Наклон для золотого образца несколько больше, поэтому пересечение может быть несколько меньше, чтобы компенсировать это.

С другой стороны, если , мы можем иметь любой наклон без каких-либо ограничений на пересечение. $E(X)=0$

Знаменатель формулы также можно интерпретировать следующим образом: если для данного среднего значения изменчивость, измеряемая увеличивается, данные размазываются по оси , так что они эффективно «выглядят» более средний нуль снова, ослабив ограничения на перехвате для данных среднего значения . $E(X^2)$ $x$ $X$

Вот код, который, я надеюсь, полностью объясняет рисунок:

n <- 30
x_1 <- sort(runif(n,2,3))
beta <- 2
y_1 <- x_1*beta + rnorm(n) # the golden sample

x_2 <- sort(runif(n,2,3)) 
beta <- 2
y_2 <- x_2*beta + rnorm(n) # the blue sample

xax <- seq(-1,3,by=.001)
plot(x_1,y_1,xlim=c(-1,3),ylim=c(-4,7),pch=19,col="gold",ylab="y",xlab="x")
abline(lm(y_1~x_1),col="gold",lwd=2)
abline(v=0,lty=2)
lines(xax,beta*xax) # the "true" regression line
abline(lm(y_2~x_2),col="lightblue",lwd=2)
points(x_2,y_2,pch=19,col="lightblue")

— Кристоф Ханк
источник

Для практического применения рассмотрим разработку и использование калибровочной кривой для лабораторного прибора. Для разработки калибровки с помощью прибора проверяются известные значения

и измеряются выходные значения

прибора с последующей линейной регрессией. Затем неизвестный образец применяется к инструменту, и новое значение

используется для прогнозирования неизвестного

основе калибровки линейной регрессии. Анализ ошибок оценки неизвестного

будет включать в себя корреляцию между оценками наклона регрессии и перехвата.

x

$x$

y

$y$

y

$y$

x

$x$

x

$x$

— EdM

Возможно, вы захотите следовать введению Даугерти в эконометрику , возможно, учитывая, что является нестохастической переменной, и определив среднеквадратичное отклонение как $x$ $x$ . Обратите внимание, что MSD измеряется в квадрате единиц(например, есливMSD в), а среднеквадратичное отклонение, $\DeclareMathOperator{\MSD}{MSD}\MSD(x) = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2$ $x$ $x$ $\text{cm}$ $\text{cm}^2$ в исходном масштабе. Это дает $\DeclareMathOperator{\RMSD}{RMSD}\RMSD(x)=\sqrt{\MSD(x)}$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \bar{x}}{\sqrt{MSD (x) + {\bar{x}}^{2}}}

$\DeclareMathOperator{\Corr}{Corr}\Corr(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$

Это должно помочь вам увидеть, как корреляция зависит как от среднего значения (в частности, корреляция между оценками вашего наклона и перехвата удаляется, если переменная центрирована), а также ее разбросом . (Это разложение также могло бы сделать асимптотику более очевидной!) $x$ $x$

Я еще раз подчеркну важность этого результата: если не имеет среднего нуля, мы можем преобразовать его, вычтя так что теперь он отцентрирован. Если мы подгоним линию регрессии на то оценки наклона и перехвата не будут коррелированными - занижение или завышение одного значения не приводит к занижению или завышению другого. Но эта линия регрессии - просто перевод линии регрессии на ! Стандартная ошибка интерсепта на линий просто мера неопределенности $x$ $\bar{x}$ $y$ $x - \bar{x}$ $y$ $x$ $y$ $x - \bar{x}$ $\hat y$ когда ваша переведенная переменная ; когда эта линия переведена обратно в исходное положение, это возвращается к быть стандартная ошибка при . В более общем плане , стандартная ошибка в любом значении является только стандартной ошибкой перехвата регрессии на соответствующий образ переведенного ; стандартная ошибка при , конечно , стандартной ошибке перехвата в исходной, нетранслированной регрессии. $x - \bar x = 0$ $\hat y$ $x = \bar x$ $\hat y$ $x$ $y$ $x$ $\hat y$ $x=0$

Так как мы можем перевести , в некотором смысле нет ничего особенного и , следовательно , ничего особенного . С небольшим количеством мысли, что я собираюсь сказать , произведения для при любом значении , что полезно , если вы ищете понимание например , доверительные интервалы для средних ответов от вашей линии регрессии. Тем не менее, мы видим , что там есть что - то особенное при , потому что здесь , что ошибки в расчетной высоты линии регрессии - что, конечно , по оценкам, $x$ $x=0$ $\hat \beta_0$ $\hat y$ $x$ $\hat y$ $x=\bar x$ - и ошибки в оценочном наклоне линии регрессии не имеют ничего общего друг с другом. Ваши оценки перехвата является и ошибки в его оценка должна стволовые либо из оценки или оценок(такмы считаликак нестохастический); теперь мы знаем, что эти два источника ошибок некоррелированы. Алгебраически понятно, почему должна быть отрицательная корреляция между оцененным наклоном и перехватом (переоценка наклона будет приводить к недооценке перехвата, если $\bar y$ $\hat \beta_0 = \bar y - \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_1$ $x$ )но положительная корреляция между расчетным перехватом и расчетной средней реакцией при . Но можно видеть такие отношения и без алгебры. $\bar x < 0$ $\hat y = \bar y$ $x = \bar x$

Представьте себе предполагаемую линию регрессии как линейку. Этот правитель должен пройти через . Мы только что увидели, что есть две по существу не связанные неопределенности в расположении этой линии, которые я кинестетически представляю как неопределенность «колебания» и неопределенность «параллельного скольжения». Перед тем, как Twang линейки, удерживайте ее в $(\bar x, \bar y)$ $(\bar x, \bar y)$ как опорный пункт, затем сделайте сердечный поворот, связанный с вашей неуверенностью на склоне. Линейка будет иметь хорошее колебание, более сильное, поэтому, если вы очень не уверены относительно наклона (действительно, ранее положительный наклон вполне может быть представлен отрицательным, если ваша неопределенность велика), но обратите внимание, что высота линии регрессии в не изменяется в результате такого рода неопределенности, и эффект удара становится заметнее по мере того, как вы смотрите. $x=\bar x$

Чтобы «сдвинуть» линейку, крепко возьмитесь за нее и сдвиньте ее вверх и вниз, стараясь держать ее параллельно исходному положению - не меняйте уклон! Насколько энергично сдвинуть его вверх и вниз, зависит от того, насколько вы не уверены относительно высоты линии регрессии, когда она проходит через среднюю точку; Подумайте о том, какой была бы стандартная ошибка перехвата, если бы было переведено так, чтобы ось прошла через среднюю точку. В качестве альтернативы, поскольку предполагаемая высота линии регрессии здесь просто , это также стандартная ошибка . Обратите внимание, что этот вид «скользящей» неопределенности одинаково влияет на все точки на линии регрессии, в отличие от «перегиба». $x$ $y$ $\bar y$ $\bar y$

Эти две неопределенности применяются самостоятельно (хорошо, uncorrelatedly, но если мы будем считать , как правило , распределенные условия ошибки , то они должны быть технически независимыми) , так Высоты всех точек на вашей линии регрессии страдают от «twanging» неопределенности , которая равна нулю на Я имею в виду, и от этого становится хуже, и "скользящая" неопределенность, которая везде одинакова. (Можете ли вы увидеть связь с доверительными интервалами регрессии, которые я обещал ранее, особенно то, как их ширина является самой узкой при ?) $\hat y$ $\bar x$

Это включает в себя неопределенность в при , которая, по существу , мы имеем в виду то , что с помощью стандартной ошибки в . Теперь предположим, что справа от ; затем поворот графика к более высокому оцененному наклону имеет тенденцию уменьшать наш предполагаемый перехват, как показывает быстрый набросок. Это отрицательная корреляция предсказан $\hat y$ $x=0$ $\hat \beta_0$ $\bar x$ $x=0$ , когдаположительна. И наоборот, еслислева отвы увидите, что более высокий предполагаемый наклон имеет тенденцию к увеличению нашего оцененного перехвата, что согласуется сположительнойкорреляцией, которую ваше уравнение предсказывает, когдаявляется отрицательным. Обратите внимание, что еслидалеко от нуля, экстраполяция линии регрессии с неопределенным градиентом к $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $\bar x$ $\bar x$ $x=0$ $\bar x$ $\bar x$ $y$ ось становится все более неустойчивой (амплитуда «звона» ухудшается от среднего значения). «Twanging» ошибка в термин будет массово перевешивают «скользящий» ошибка в термина, так что ошибка в почти полностью определяется какой - либо ошибки в . Как вы можете легко проверить алгебраически, если мы возьмем без изменения MSD или стандартное отклонение ошибки , корреляция между $- \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_0$ $\hat \beta_1$ $\bar x \to \pm \infty$ $s_u$ $\hat \beta_0$ стремится к. $\hat \beta_1$ $\mp 1$

Чтобы проиллюстрировать это (вы можете щелкнуть правой кнопкой мыши на изображении и сохранить его или просмотреть его в полном размере на новой вкладке, если вам доступна эта опция), я решил рассмотреть повторные выборки , где - iid для фиксированного набора значений с , поэтому $y_i = 5 + 2x_i + u_i$ $u_i \sim N(0, 10^2)$ $x$ $\bar x = 10$ $\mathbb{E}(\bar y)=25$ , В этой конфигурации существует довольно сильная отрицательная корреляция между оцененным наклоном и перехватом, и более слабая положительная корреляция между , оцененным средним откликом при и оцененным перехватом. Анимация показывает несколько смоделированных сэмплов с линией регрессии образца (золото), проведенной над истинной (черной) линией регрессии. Второй ряд показывает , что совокупность оценочных линий регрессии выглядела бы, если бы там была ошибка только в сметных и наклоны соответствуют истинному наклону ( «скольжение» ошибка); затем, если были ошибки только на склонах и $\bar y$ $x=\bar x$ $\bar y$ $\bar y$ соответствует значению его популяции (ошибка "зависания"); и, наконец, как фактически выглядел набор оценочных линий, когда оба источника ошибок были объединены. Они имеют цветовую кодировку по размеру фактически оцененного перехвата (а не перехвата, показанного на первых двух графиках, где был устранен один из источников ошибок): от синего для низких перехватов до красного для высоких перехватов. Обратите внимание , что только из цветов , мы можем видеть , что образцы с низким , как правило, производит снижение сметных перехватов, как и образцы с высотой $\bar y$ предполагаемые склоны. В следующей строке показаны смоделированные (гистограмма) и теоретические (нормальная кривая) выборочные распределения оценок, а в последней строке показаны графики рассеяния между ними. Обратите внимание , как не существует никакой корреляции между и оцененной наклон, отрицательная корреляция между расчетной перехватывать и наклона, а также положительной корреляции между перехватом и . $\bar y$ $\bar y$

Что делает MSD в знаменателе ? Разводя диапазонзначений, измеряющих над хорошо известно, позволяют оценить наклон более точно, а интуиция ясно из эскиза, но это не позволяет оценитьлучше. Я предлагаю вам визуализировать приближение MSD к нулю (то есть к точкам выборки, только очень близким к среднему значению), чтобы ваша неопределенность на склоне стала огромной: подумайте о больших больших отклонениях, но без изменений в вашей неопределенности скольжения. Если вашаосьнаходится на любом расстоянии от(другими словами, если $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $x$ $\bar y$ $x$ $y$ $\bar x$ $\bar x \neq 0$ ) вы обнаружите, что неопределенность в вашем перехвате становится всецело доминируемой из-за ошибки при наклоне, связанной с уклоном Напротив, если вы увеличите разброс ваших измерений , не меняя среднего значения, вы значительно улучшите точность оценки наклона, и вам нужно будет лишь слегка коснуться линии. На высоте вашего перехвата теперь доминирует неопределенность скольжения, которая не имеет никакого отношения к вашему предполагаемому уклону. Это согласуется с алгебраическим фактом, что корреляция между оцененным наклоном и пересечением стремится к нулю как и, когда , к $x$ $\MSD(x) \to \pm \infty$ $\bar x \neq 0$ $\pm 1$ (знак противоположен знаку ) при . $\bar x$ $\MSD(x) \to 0$

$\bar x$ $x$ $\bar x$ $x$ $x$ $x$ $w_i = x_i / \RMSD(x)$ $\bar y$ $\RMSD(w)=1$ $x$ $\RMSD(w)$ , which is one, and $\bar w$ , which is the ratio $\frac{\bar x}{\RMSD(x)}$ . As the intercept estimate was unchanged, and the slope estimate merely multiplied by a positive constant, then the correlation between them has not changed: hence the correlation between the original slope and intercept must also only depend on $\frac{\bar x}{\RMSD(x)}$ . Algebraically we can see this by dividing top and bottom of $\frac{-\bar x}{\sqrt{\MSD(x)+\bar{x}^2}}$ by $\RMSD(x)$ to obtain $\Corr\left(\hat \beta_0, \hat \beta_1 \right) = \frac{- (\bar x / \RMSD(x))}{\sqrt{1 + (\bar x / \RMSD(x))^2}}$ .

To find the correlation between $\hat \beta_0$ and $\bar y$ , consider $\DeclareMathOperator{\Cov}{Cov}\Cov(\hat \beta_0, \bar y)=\Cov(\bar y - \hat \beta_1 \bar x, \bar y)$ . By bilinearity of $\Cov$ this is $\Cov(\bar y, \bar y) - \bar x \Cov(\hat \beta_1, \bar y)$ . The first term is $\operatorname{Var}(\bar y)=\frac{\sigma_u^2}{n}$ while the second term we established earlier to be zero. From this we deduce

Corr ({\hat{β}}_{0}, \bar{y}) = \frac{1}{\sqrt{1 + (\bar{x} / RMSD (x))^{2}}}

$\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{1 + (\bar x/\RMSD(x))^2}}$

So this correlation also depends only on the ratio $\frac{\bar x}{\RMSD(x)}$ . Note that the squares of $\Corr(\hat \beta_0, \hat \beta_1)$ and $\Corr(\hat \beta_0, \bar y)$ sum to one: we expect this since all sampling variation (for fixed $x$ ) in $\hat \beta_0$ is due either to variation in $\hat \beta_1$ or to variation in $\bar y$ , and these sources of variation are uncorrelated with each other. Here is a plot of the correlations against the ratio $\frac{\bar x}{\RMSD(x)}$ .

The plot clearly shows how when $\bar x$ is high relative to the RMSD, errors in the intercept estimate are largely due to errors in the slope estimate and the two are closely correlated, whereas when $\bar x$ is low relative to the RMSD, it is error in the estimation of $\bar y$ that predominates, and the relationship between intercept and slope is weaker. Note that the correlation of intercept with slope is an odd function of the ratio $\frac{\bar x}{\RMSD(x)}$ , so its sign depends on the sign of $\bar x$ and it is zero if $\bar x=0$ , whereas the correlation of intercept with $\bar y$ is always positive and is an even function of the ratio, i.e. it doesn't matter what side of the $y$ -axis that $\bar x$ is. The correlations are equal in magnitude if $\bar x$ is one RMSD away from the $y$ -axis, when $\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{2}} \approx 0.707$ and $\Corr(\hat \beta_0, \hat \beta_1)=\pm \frac{1}{\sqrt{2}} \approx \pm 0.707$ where the sign is opposite that of $\bar x$ . In the example in the simulation above, $\bar x=10$ and $\RMSD(x) \approx 5.16$ so the mean was about $1.93$ RMSDs from the $y$ -axis; at this ratio, the correlation between intercept and slope is stronger, but the correlation between intercept and $\bar y$ is still not negligible.

As an aside, I like to think of the formula for the standard error of the intercept,

s . e . ({\hat{β}}_{0}^{O L S}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat \beta_0^{OLS}) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{{\bar x}^2 }{n \MSD(x)} \right) }$

as $\sqrt{\text{sliding error} + \text{twanging error}}$ , and ditto for the formula for the standard error of $\hat y$ at $x = x_0$ (used for confidence intervals for the mean response, and of which the intercept is just a special case as I explained earlier via a translation argument),

s . e . (\hat{y}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat y) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{(x_0 - \bar x)^2}{n \MSD(x)} \right) }$

R code for plots

require(graphics)
require(grDevices)
require(animation

#This saves a GIF so you may want to change your working directory
#setwd("~/YOURDIRECTORY")
#animation package requires ImageMagick or GraphicsMagick on computer
#See: http://www.inside-r.org/packages/cran/animation/docs/im.convert
#You might only want to run up to the "STATIC PLOTS" section
#The static plot does not save a file, so need to change directory.

#Change as desired
simulations <- 100 #how many samples to draw and regress on
xvalues <- c(2,4,6,8,10,12,14,16,18) #used in all regressions
su <- 10 #standard deviation of error term
beta0 <- 5 #true intercept
beta1 <- 2 #true slope
plotAlpha <- 1/5 #transparency setting for charts
interceptPalette <- colorRampPalette(c(rgb(0,0,1,plotAlpha),
            rgb(1,0,0,plotAlpha)), alpha = TRUE)(100) #intercept color range
animationFrames <- 20 #how many samples to include in animation

#Consequences of previous choices
n <- length(xvalues) #sample size
meanX <- mean(xvalues) #same for all regressions
msdX <- sum((xvalues - meanX)^2)/n #Mean Square Deviation
minX <- min(xvalues)
maxX <- max(xvalues)
animationFrames <- min(simulations, animationFrames)

#Theoretical properties of estimators
expectedMeanY <- beta0 + beta1 * meanX
sdMeanY <- su / sqrt(n) #standard deviation of mean of Y (i.e. Y hat at mean x)
sdSlope <- sqrt(su^2 / (n * msdX))
sdIntercept <- sqrt(su^2 * (1/n + meanX^2 / (n * msdX)))


data.df <- data.frame(regression = rep(1:simulations, each=n),
                      x = rep(xvalues, times = simulations))

data.df$y <- beta0 + beta1*data.df$x + rnorm(n*simulations, mean = 0, sd = su) 

regressionOutput <- function(i){ #i is the index of the regression simulation
  i.df <- data.df[data.df$regression == i,]
  i.lm <- lm(y ~ x, i.df)
  return(c(i, mean(i.df$y), coef(summary(i.lm))["x", "Estimate"],
          coef(summary(i.lm))["(Intercept)", "Estimate"]))
}

estimates.df <- as.data.frame(t(sapply(1:simulations, regressionOutput)))
colnames(estimates.df) <- c("Regression", "MeanY", "Slope", "Intercept")

perc.rank <- function(x) ceiling(100*rank(x)/length(x))
rank.text <- function(x) ifelse(x < 50, paste("bottom", paste0(x, "%")), 
                                paste("top", paste0(101 - x, "%")))
estimates.df$percMeanY <- perc.rank(estimates.df$MeanY)
estimates.df$percSlope <- perc.rank(estimates.df$Slope)
estimates.df$percIntercept <- perc.rank(estimates.df$Intercept)
estimates.df$percTextMeanY <- paste("Mean Y", 
                                    rank.text(estimates.df$percMeanY))
estimates.df$percTextSlope <- paste("Slope",
                                    rank.text(estimates.df$percSlope))
estimates.df$percTextIntercept <- paste("Intercept",
                                    rank.text(estimates.df$percIntercept))

#data frame of extreme points to size plot axes correctly
extremes.df <- data.frame(x = c(min(minX,0), max(maxX,0)),
              y = c(min(beta0, min(data.df$y)), max(beta0, max(data.df$y))))

#STATIC PLOTS ONLY

par(mfrow=c(3,3))

#first draw empty plot to reasonable plot size
with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, beta1, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)

with(estimates.df, hist(Slope, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)

with(estimates.df, hist(Intercept, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)

with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                        main = "Scatter of Slope vs Mean Y"))

with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Intercept vs Slope"))

with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Mean Y vs Intercept"))


#ANIMATED PLOTS

makeplot <- function(){for (i in 1:animationFrames) {

  par(mfrow=c(4,3))

  iMeanY <- estimates.df$MeanY[i]
  iSlope <- estimates.df$Slope[i]
  iIntercept <- estimates.df$Intercept[i]

  with(extremes.df, plot(x,y, type="n", main = paste("Simulated dataset", i)))
  with(data.df[data.df$regression==i,], points(x,y))
  abline(beta0, beta1, lwd = 2)
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  plot.new()
  title(main = "Parameter Estimates")
  text(x=0.5, y=c(0.9, 0.5, 0.1), labels = c(
    paste("Mean Y =", round(iMeanY, digits = 2), "True =", expectedMeanY),
    paste("Slope =", round(iSlope, digits = 2), "True =", beta1),
    paste("Intercept =", round(iIntercept, digits = 2), "True =", beta0)))

  plot.new()
  title(main = "Percentile Ranks")
  with(estimates.df, text(x=0.5, y=c(0.9, 0.5, 0.1),
                          labels = c(percTextMeanY[i], percTextSlope[i],
                                     percTextIntercept[i])))


  #first draw empty plot to reasonable plot size
  with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, beta1, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, beta1, lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                interceptPalette[estimates.df$percIntercept]))
  abline(expectedMeanY - iSlope * meanX, iSlope,
         lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, estimates.df$Slope, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
  curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)
  lines(x=c(iMeanY, iMeanY),
        y=c(0, dnorm(iMeanY, mean=expectedMeanY, sd=sdMeanY)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Slope, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
  curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)
  lines(x=c(iSlope, iSlope), y=c(0, dnorm(iSlope, mean=beta1, sd=sdSlope)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Intercept, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
  curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)
  lines(x=c(iIntercept, iIntercept),
        y=c(0, dnorm(iIntercept, mean=beta0, sd=sdIntercept)),
        lwd = 2, col = "gold")

  with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                          main = "Scatter of Slope vs Mean Y"))
  points(x = iMeanY, y = iSlope, pch = 16, col = "gold")

  with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Intercept vs Slope"))
  points(x = iSlope, y = iIntercept, pch = 16, col = "gold")

  with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Mean Y vs Intercept"))
  points(x = iIntercept, y = iMeanY, pch = 16, col = "gold")

}}

saveGIF(makeplot(), interval = 4, ani.width = 500, ani.height = 600)

For the plot of correlation versus ratio of $\bar x$ to RMSD:

require(ggplot2)

numberOfPoints <- 200
data.df  <- data.frame(
  ratio = rep(seq(from=-10, to=10, length=numberOfPoints), times=2),
  between = rep(c("Slope", "MeanY"), each=numberOfPoints))
data.df$correlation <- with(data.df, ifelse(between=="Slope",
  -ratio/sqrt(1+ratio^2),
  1/sqrt(1+ratio^2)))

ggplot(data.df, aes(x=ratio, y=correlation, group=factor(between),
                    colour=factor(between))) +
  theme_bw() + 
  geom_line(size=1.5) +
  scale_colour_brewer(name="Correlation between", palette="Set1",
                      labels=list(expression(hat(beta[0])*" and "*bar(y)),
                              expression(hat(beta[0])*" and "*hat(beta[1])))) +
  theme(legend.key = element_blank()) +
  ggtitle(expression("Correlation of intercept estimates with slope and "*bar(y))) +
  xlab(expression("Ratio of "*bar(X)/"RMSD(X)")) +
  ylab(expression(paste("Correlation")))

— Silverfish
источник

«Танг» и «слайд» - мои термины. Это моя собственная визуальная интуиция, которую я никогда не видел ни в одном учебнике, хотя основные идеи здесь - стандартный материал. Боже мой знает, есть ли более техническое имя, чем «удар» и «слайд»! Я основал этот ответ, основываясь на памяти, на ответе на связанный вопрос, который я так и не удосужился завершить и опубликовать. Там были более поучительные графики, которые (если я смогу отследить код R на моем старом компьютере или найти время для воспроизведения) я добавлю.

— Серебряная

What a job! Thank you very much! Now my understanding must be in much better shape.

— Ричард Харди

@RichardHardy I have put a simulation animation in, which ought to make things a bit clearer.

— Silverfish