Что такое остаточная стандартная ошибка?

35

При запуске модели множественной регрессии в R один из выходных сигналов представляет собой остаточную стандартную ошибку 0,0589 при 95 161 степени свободы. Я знаю, что 95 161 степень свободы определяется разницей между количеством наблюдений в моей выборке и количеством переменных в моей модели. Какова остаточная стандартная ошибка?

regression standard-error residuals

— ustroetz
источник

2

Этот вопрос и его ответы могут помочь: почему мы говорим, что остаточная стандартная ошибка?

— Антуан Вернет

Быстрый вопрос: является ли «остаточная стандартная ошибка» такой же, как «остаточное стандартное отклонение»? Гельман и Хилл (стр. 41, 2007), кажется, используют их взаимозаменяемо.

— JetLag

26

Подходящая регрессионная модель использует параметры для генерации точечных прогнозов, которые являются средством наблюдаемых ответов, если вы должны были повторить исследование с тем же $X$ значениями бесконечное число раз (и когда линейная модель верна). Разница между этими прогнозируемыми значениями и значениями, используемыми для подгонки модели, называется «остатками», которые при репликации процесса сбора данных имеют свойства случайных величин со значением 0.

Наблюдаемые остатки затем используются для последующей оценки изменчивости этих значений и для оценки выборочного распределения параметров. Когда остаточная стандартная ошибка точно равна 0, тогда модель идеально соответствует данным (вероятно, из-за переобучения). Если нельзя доказать, что остаточная стандартная ошибка значительно отличается от изменчивости безусловного отклика, то имеется мало свидетельств того, что линейная модель обладает какой-либо прогнозирующей способностью.

— Adamo
источник

3

Это, возможно, ответили раньше. Посмотрите, дает ли этот вопрос ответы, которые вам нужны. [Интерпретация вывода lm () из R] [1] [1]: stats.stackexchange.com/questions/5135/…

— doug.numbers

26

Скажем, у нас есть следующая таблица ANOVA (адаптированная из команды R example(aov)):

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57

Если вы разделите сумму квадратов из любого источника вариации (модели или остатков) на соответствующие степени свободы, вы получите среднее значение квадрата. Особенно для остатков:

\frac{306.3}{4} = 76.575 \approx 76.57

$\frac{306.3}{4} = 76.575 \approx 76.57$

Таким образом, 76,57 является средним квадратом невязок, т. Е. Величиной остаточного (после применения модели) отклонения вашей переменной ответа.

Остаточная стандартная ошибка $\sqrt{76.57}$ или приблизительно 8,75. R выдаст эту информацию как «8,75 на 4 степени свободы».

— Вальдир Леонсио
источник

1

Я проголосовал за ответ @AdamO, потому что как человек, который чаще всего использует регрессию, этот ответ был для меня наиболее простым. Тем не менее, я ценю этот ответ, поскольку он иллюстрирует нотационные / концептуальные / методологические отношения между ANOVA и линейной регрессией.

— сванной

12

Y = β_{0} + β_{1} X + ϵ

$Y = \beta_{0} + \beta_{1}X + \epsilon$

ϵ

$\epsilon$

X

$X$

$\beta_{0}$ $\beta_{1}$ $\epsilon$ $\epsilon$

RSE объясняется довольно ясно в "Введение в статистическое обучение".

— маленький монстр
источник

2

ϵ

$\epsilon$

R S E = \sqrt{\frac{R S S}{(n - 2)}}

$RSE = \sqrt{\frac{RSS}{(n-2)}}$ (например, см. ISL стр. 66).

— Амелио Васкес-Рейна

1

Для любого, кто читает epub ISL, вы можете найти «страницу 66» с помощью ctrl-f «Остаточная стандартная ошибка». (Файлы Epub не имеют истинных номеров страниц).

— user2426679