Почему мы говорим «Остаточная стандартная ошибка»?

14

Стандартной ошибкой является оценочное стандартное отклонение оценки для параметра . $\hat \sigma(\hat\theta)$ $\hat\theta$ $\theta$

Почему расчетное стандартное отклонение от остатков называется «остаточной стандартной ошибкой» (например, при выводе функции R summary.lm), а не «остаточное стандартное отклонение»? Какую оценку параметров мы снабжаем здесь стандартной ошибкой?

Рассматриваем ли мы каждый остаток как оценщик для «своего» члена ошибки и оцениваем «объединенную» стандартную ошибку всех этих оценок?

r standard-error residuals terminology

— Майкл М
источник

6

Я думаю, что это R вещь. Я не думаю, что другое программное обеспечение обязательно использует это выражение, и «остаточное стандартное отклонение» обычно встречается в учебниках, например. У меня нет ответа, но я всегда думал, что странно, что R использует эту фразу.

— Gung - Восстановить Монику

@ Gung: это может быть объяснение! При поиске "остаточной стандартной ошибки" в кавычках я получаю только 0,1% обращений, чем без кавычек ...

— Майкл М

Я мог бы поставить это как (не) ответ, если вы предпочитаете.

— gung - Восстановить Монику

1

@ Забавно, что забавно, как использование определенного программного обеспечения формирует ваше мышление: я бы никогда не назвал это «остаточным sd» - остатки - это не данные, а ошибки, поэтому остаточная ошибка кажется правильным именем. Но если вы думаете об этом, это действительно кажется R-вещь.

— Тим

2

@Tim, это может правильно считаться оценкой стандартного отклонения ошибок , но технически ошибки не являются самими ошибками. И при этом это не стандартная ошибка ошибки SD, для чего это стоит.

— gung - Восстановить Монику

12

Я думаю, что формулировка специфична для summary.lm()вывода Р. Обратите внимание, что базовое значение на самом деле называется «сигма» ( summary.lm()$sigma). Я не думаю, что другое программное обеспечение обязательно использует это имя для стандартного отклонения остатков. Кроме того, выражение «остаточное стандартное отклонение» встречается, например, в учебниках. Я не знаю, как это стало выражением, использованным в summary.lm()выводе R , но я всегда думал, что это странно.

— Gung - Восстановить Монику
источник

Чем summary.lm(reg)$sigmaотличается от sd(reg$residuals)?

— авиаудар

3

@ AndréTerra, правильные степени свободы - это n - p, что и используется в резюме. sd использует var, который использует n - 1 степень свободы. Если вы вручную вычислите стандартное отклонение деления остатков на n - p, вы получите тот же ответ, что и в сводке.

— Jdub

3

Чтобы подтвердить банду, я привожу из документации R следующее stats::sigma: неправильное выражение «Остаточная стандартная ошибка» было частью слишком большого количества выходов R (и S), чтобы их можно было легко изменить.

— NRH

2

Из моего обучения эконометрике это называется «остаточная стандартная ошибка», потому что это оценка фактического «остаточного стандартного отклонения». Посмотрите на этот связанный вопрос, который подтверждает эту терминологию.

Поиск в Google по термину «остаточная стандартная ошибка» также показывает много совпадений, так что это ни в коем случае не является странностью. Я попробовал оба условия с кавычками, и оба появляются примерно 60000 раз.

— Гейзенберг
источник

Интересный. Но почему вы назвали бы оценку стандартного отклонения любой случайной величины (например, слагаемой ошибки, а не конкретной оценки) «стандартной ошибкой»?

— Майкл М

Я думаю, нам нужно иметь имя для оценки (чтобы отличить от фактического значения), любое имя так же хорошо, как и другое. Но, несомненно, кто-то, кто более осведомлен об этимологии, может предложить лучшую причину. Обратите внимание, что определенно существует параллель со стандартной ошибкой коэффициента, которая является оценкой стандартного отклонения оценки коэффициента.

— Гейзенберг

0

Проще говоря, стандартная ошибка выборки - это оценка того, как далеко среднее значение выборки, вероятно, от среднего значения по совокупности, тогда как стандартное отклонение выборки - это степень, в которой отдельные лица в выборке отличаются от среднего значения по выборке.

Стандартная ошибка - Википедия, свободная энциклопедия

— user629019
источник

6

Это правда, но на самом деле не отвечает на вопрос. То, что R называет «остаточной стандартной ошибкой», не является «оценкой того, насколько вероятно среднее значение выборки от среднего значения по совокупности».

— gung - Восстановить Монику

0

Подходящая регрессионная модель использует параметры для генерации точечных прогнозов, которые являются средством наблюдаемых ответов, если вы должны были повторить исследование с одинаковыми значениями XX бесконечное число раз ( когда линейная модель верна ).

Разница между этими прогнозируемыми значениями и значениями, используемыми для подгонки модели, называется « Остатки », которые при репликации процесса сбора данных имеют свойства случайных величин со значением 0. Наблюдаемые остатки затем используются для последующей оценки изменчивости этих значений и для оценки выборочного распределения параметров.

Замечания:

Когда остаточная стандартная ошибка точно равна 0, тогда модель идеально соответствует данным (вероятно, из-за переобучения).

Если нельзя доказать, что остаточная стандартная ошибка значительно отличается от изменчивости безусловного отклика, то имеется мало свидетельств того, что линейная модель обладает какой-либо прогнозирующей способностью.

— Абхишек Джайсвал
источник