Как остатки связаны с основными нарушениями?

9

В методе наименьших квадратов мы хотим оценить неизвестные параметры в модели:

Y_{J} знак равно α + β {Икс}_{J} + ε_{J} (J знак равно 1 ... N)

$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$

Как только мы это сделаем (для некоторых наблюдаемых значений), мы получим подогнанную линию регрессии:

Y_{J} знак равно \hat{α} + \hat{β} Икс + е_{J} (J знак равно 1,,,, N)

$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$

Теперь очевидно, что мы хотим проверить некоторые графики, чтобы убедиться, что предположения выполнены. Предположим, вы хотите проверить гомоскедастичность, однако для этого мы фактически проверяем невязки . Допустим, вы изучаете график зависимости остаточных и прогнозируемых значений, если это показывает нам, что гетероскедастичность очевидна, то как это связано с нарушением ? Означает ли гетероскедастичность в остатках гетероскедастичность в терминах возмущений? $e_j$ $\varepsilon_j$

— Дэнни
источник

3

Самый простой способ думать об этом - то, что ваши необработанные остатки ( ) являются оценками соответствующих возмущений ( ). Однако есть некоторые дополнительные сложности. Например, хотя в стандартной модели OLS мы предполагаем, что ошибки / помехи являются независимыми, не все остатки могут быть. В целом, только остатки могут быть независимыми, так как вы использовали степени свободы при оценке средней модели, а остатки ограничены суммой до $e_j = y_j-\hat y_j$ $\hat\varepsilon_j = e_j$ $N-p-1$ $p-1$ $0$ , Кроме того, стандартное отклонение необработанных остатков фактически не является постоянным. В целом, линия регрессии подобрана так, что она будет в среднем ближе к тем точкам с большим кредитным плечом. В результате стандартное отклонение остатков по этим точкам меньше, чем у точек с низким левереджем. (Более подробно об этом может быть полезно прочитать ответы на некоторые вопросы здесь: Интерпретация plot.lm () и / или здесь: Как выполнить остаточный анализ для двоичных / дихотомических независимых предикторов в линейной регрессии? )

— Gung - Восстановить Монику
источник

3

Чтобы уточнить, не более остатков Np-1 могут быть независимыми, но обычно они все коррелированы; вместо этого существуют линейные преобразования, которые могут иметь независимые компоненты Np-1.

— Glen_b

@Glen_b, хорошая мысль.

— gung - Восстановить Монику

8

Отношения между и : $\hat{\varepsilon}$ $\varepsilon$

\hat{ε} знак равно (я - ЧАС) ε

$\hat{\varepsilon} = (I-H) \varepsilon$

где , матрица шляпы, является . $H$ $X(X^TX)^{-1}X^T$

То есть - это линейная комбинация всех ошибок, но обычно большая часть веса приходится на ую. $\hat{\varepsilon}_i$ $i$

Вот пример использования carsнабора данных в R. Рассмотрим точку, отмеченную фиолетовым:

введите описание изображения здесь

Давайте назовем это пунктом . Остаток, , где для других ошибок находится в области -0,02: $i$ $\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$ $w_j$

введите описание изображения здесь

Мы можем переписать это как:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

или в более общем плане

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

где является -й диагональный элемент . Точно так же, выше - это . $h_{ii}$ $i$ $H$ $w_j$ $h_{ij}$

Если ошибки имеют значение то в этом примере взвешенная сумма этих других ошибок будет иметь стандартное отклонение, соответствующее примерно 1/7 влияния ошибки го наблюдения на ее остаток , $N(0,\sigma^2)$ $i$

То есть, в регрессиях с хорошим поведением остатки в большинстве случаев можно рассматривать как умеренно шумную оценку ненаблюдаемого члена ошибки. По мере того, как мы рассматриваем точки дальше от центра, все работает несколько менее красиво (остаток становится менее взвешенным для ошибки, а веса для других ошибок становятся менее равномерными).

Со многими параметрами, или с , не так хорошо распределенными, остатки могут быть намного меньше как ошибки. Вы можете попробовать несколько примеров. $X$

— Glen_b - Восстановить Монику
источник

2

Это правильный подход. Кроме того, он нуждается в аргументе, что диагональные элементы как правило, «малы». Это делается путем показа, что трасса равна количеству независимых переменных (включая точку пересечения, если таковая имеется), что непосредственно следует из факта, что это матрица проекции. Обратите внимание, что этот результат не зависит от каких-либо предположений о распределении для отдельного : они не обязательно должны быть нормальными. Это также не зависит от любой фактической формулы для ; это следствие количества измерений.

H

$H$

ε_{i}

$\varepsilon_i$

H

$H$

— whuber

Не будет ли другое обстоятельство, при котором остатки могут быть намного меньше, чем ошибки, если число наблюдений мало? Обычно, поскольку @whuber утверждает, что след равен числу независимых переменных, подразумевается, что его диагональные элементы малы, но это не обязательно будет так, если число этих элементов само по себе мало.

n

$n$

H

$H$

n

$n$

— Адам Бэйли,

@AdamBailey Конечно, это происходит, когда мало ... но это потому, что относительно велико, даже если всего 1 или 2.

n

$n$

p / n

$p/n$

p

$p$

— Glen_b