Почему наклон всегда равен 1 при регрессии ошибок на остатках с использованием OLS?

10

Я экспериментировал с отношением между ошибками и невязками, используя несколько простых симуляций в R. Одна вещь, которую я обнаружил, заключается в том, что независимо от размера выборки или дисперсии ошибок, я всегда получаю ровно для наклона, когда вы подходите к модели $1$

е р р о р s ~ β_{0} + β_{1} \times р е s я d U a L s

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

Вот симуляция, которую я делал:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eи rимеют высокую (но не идеальную) корреляцию даже для небольших выборок, но я не могу понять, почему это происходит автоматически. Математическое или геометрическое объяснение приветствуется.

regression least-squares residuals

— GoF_Logistic
источник

5

В плоском треугольнике OXY с основанием OX высоты сторон YO и XY являются высотой самого треугольника. Для того, эти абсолютные высоты задаются коэффициентами lm(y~r), lm(e~r)и lm(r~r), которые , следовательно , должны быть все равны. Последний, очевидно, равен . Попробуйте все три из этих команд, чтобы увидеть. Чтобы последний работал, вам нужно создать копию , например . Подробнее о геометрических диаграммах регрессии см. Stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

Спасибо @whuber. Хотели бы вы дать ответ, чтобы я мог принять его, или, возможно, пометить его как дубликат?

— GoF_Logistic

1

Я не думаю, что это дубликат, поэтому я расширил комментарий в ответ.

— whuber

11

Уубер ответит отлично! (+1) Я решил эту проблему, используя наиболее знакомую мне нотацию, и подумал, что (менее интересный, более рутинный) вывод стоит включить сюда.

Пусть - модель регрессии, для и шум. Тогда регрессия против столбцов имеет нормальные уравнения дающие оценки $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} знак равно {({Икс}^{T} Икс)}^{- 1} {Икс}^{T} Y,

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$ Поэтому регрессии имеет невязки

для

.

р знак равно Y - Икс \hat{β} знак равно (я - ЧАС) Y знак равно (я - ЧАС) ε,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Регрессия на приводит к оценочному наклону, определяемому как $\epsilon$ $r$ таксимметрична и идемпотентная ипочти наверное.

\begin{aligned} (р^{T} р)^{- 1} р^{T} ε & знак равно {({[(я - ЧАС) ε]}^{T} [(я - ЧАС) ε])}^{- 1} {[(я - ЧАС) ε]}^{T} ε \\ знак равно \frac{ε^{T} {(я - ЧАС)}^{T} ε}{ε^{T} {(я - ЧАС)}^{T} (я - ЧАС) ε} \\ знак равно \frac{ε^{T} (я - ЧАС) ε}{ε^{T} (я - ЧАС) ε} \\ знак равно 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

Кроме того, этот аргумент также сохраняется, если мы включаем перехват, когда мы выполняем регрессию ошибок для остатков, если перехват был включен в исходную регрессию, поскольку ковариаты ортогональны (т.е. из нормальных уравнений) , $1^T r = 0$

— user795305
источник

+1 Всегда приятно видеть, что решение разработано тщательно и четко.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— Whuber
источник