В чем разница между ошибками и остатками?

20

Хотя эти два вездесущих термина часто используются как синонимы, иногда кажется, что есть различие. Есть ли разница, или они являются синонимами?

residuals error terminology

— Constantin
источник

Посмотрите Qin & Gilbert «Термин ошибки в истории эконометрики временных рядов», чтобы получить исчерпывающее лечение, если у вас есть время. О, но это только для данных временных рядов.

— Ричард Харди

20

Ошибки относятся к истинному процессу генерирования данных (DGP), тогда как остатки - это то, что осталось после оценки вашей модели. По правде говоря, допущения, такие как нормальность, гомоскедастичность и независимость, относятся к ошибкам DGP, а не к остаткам вашей модели. (Например, при наличиипараметровв вашей модели толькоостатки могут быть независимыми.) Однако у нас есть доступ только к остаткам, поэтому мы работаем с этим. $p+1$ $N-(p+1)$

— Gung - Восстановить Монику
источник

9

(+1) Остатки можно считать оценками ошибок.

— Scortchi - Восстановить Монику

@ABC, DGPобозначает процесс создания данных . Даже если ваша модель является подходящей и отражает истинную структуру DGP, остатки не обязательно будут нормальными, гомоскедастичными и независимыми, если не были ошибки, лежащие в основе.

— gung - Восстановить Монику

@ Scortchi Привет, есть ли у вас какие-либо ссылки, которые расширяют ваш комментарий? Я пытаюсь понять, почему именно ошибки могут использоваться в качестве оценок ошибки, потому что я вижу людей, проверяющих нормальность остатков в регрессионном анализе, когда фактическое предположение является нормой ошибки, и я не знаю точно, почему это верно.

— Остин

@ Остин, если вы все еще заинтересованы в этом, вы должны задать новый вопрос.

— gung - Восстановить Монику

13

Ошибка разница между наблюдаемым значением и истинным значением (очень часто незаметно, порожденного ДГП).

Остаточная разница между наблюдаемым значением и прогнозируемым значением (по модели).

— Леопольд В.
источник

В ответ на то, что ошибка «очень часто незаметна», в действительности мы никогда не могли наблюдать абсолютную истинную ценность. Каждое измерительное устройство имеет конечную погрешность, присущую измерительному устройству. Лучшее, на что вы можете претендовать, - это то, что истинное значение в точке равно любому измеренному плюс / минус ошибка наблюдения или ошибка измерения, например, моя линейка может увеличивать расстояния до 1 мм, поэтому лучше всего я могу измерить истинную длину моего карандаш находится в пределах 0,1 мм. Обратите внимание, что это отличается от любой систематической ошибки, например, моя линейка была как-то растянута во время производства и измеряет слишком долго.

\pm

$\pm$

— Стивен Хоуэлл

Эта ссылка ( ece.rochester.edu/courses/ECE111/error_unterminty.pdf ) дает хорошее объяснение со ссылками на тексты Бевингтона и Тейлора по этому вопросу.

— Стивен Хоуэлл

На языке машинного обучения остаток - это ошибка обучения, а ошибка - ошибка теста?

— Чарльз Чоу

@CharlesChow Это зависит от того, какой набор данных вы используете. Если вы используете тренировочный набор, то это ошибка тренировки; если вы используете набор тестов, то это ошибка теста.

— Леопольд В.

7

Термин «ошибка» - это теоретическая концепция, которую никогда не соблюдается, но остаток представляет собой значение реального мира, которое рассчитывается для каждого случая, когда выполняется регрессия.

— Кудзай Лемьель Муньюква
источник