Средняя квадратическая ошибка и остаточная сумма квадратов

31

Глядя на определения Википедии:

Мне кажется, что

MSE = \frac{1}{N} RSS = \frac{1}{N} \sum (f_{i} - y_{i})^{2}

$\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2$

где - это количество выборок, а - наша оценка . $N$ $f_i$ $y_i$

Тем не менее, ни одна из статей Википедии не упоминает эту связь. Зачем? Я что-то пропустил?

residuals mse

— мистифицировать
источник

6

Я знаю, что это кажется бесполезным и враждебным, но они не упоминают об этом, потому что это очевидно. Кроме того, вы хотите быть немного осторожнее, здесь. Обычно, когда вы сталкиваетесь с MSE в реальной эмпирической работе, это не

деленное на

а

деленное на

где

- число (включая пересечение) переменных правой части в некоторой регрессионной модели ,

R S S

$RSS$

N

$N$

R S S

$RSS$

N - K

$N-K$

K

$K$

— Билл

10

@ Билл: Ну, именно такие отношения обычно приводят к ссылкам на статьи в Википедии. Ваша точка зрения относительно степени свободы также показывает, что это не так очевидно и определенно стоит упомянуть.

— Bluenote10

2

@ Билл: Согласитесь, однако очевидность очень субъективна. Серая область статистики / машинного обучения усеяна нотацией ада, и поэтому хорошо быть явным.

— rnoodle

30

На самом деле это упоминается в разделе регрессии среднего квадрата ошибки в Википедии:

В регрессионном анализе термин среднеквадратичная ошибка иногда используется для обозначения объективной оценки дисперсии ошибки: остаточной суммы квадратов, деленной на число степеней свободы.

Вы также можете найти здесь некоторую информацию: Ошибки и остатки в статистике. Здесь говорится, что выражение «среднеквадратичная ошибка» может иметь разные значения в разных случаях, что иногда бывает сложно.

— whenov
источник

4

Но имейте в виду, что Sum of Squared Erros (SSE) и Residue Sum of Squares (RSS) иногда используются взаимозаменяемо, что приводит в замешательство читателей. Например, проверьте этот URL: https://365datascience.com/sum-squares/ для получения дополнительной информации о линейной регрессии.

Строго говоря, со статистической точки зрения ошибки и остатки - это совершенно разные понятия. Ошибки в основном относятся к разнице между фактическими наблюдаемыми значениями выборки и вашими предсказанными значениями и используются в основном в статистических показателях, таких как среднеквадратичные ошибки (RMSE) и средние абсолютные ошибки (MAE). Напротив, остатки относятся исключительно к различиям между зависимыми переменными и оценками от линейной регрессии.

— Dr.CYY
источник

0

Я не думаю, что это правильно, если мы считаем MSE областью RMSE. Например, у вас есть серия выборочных данных о прогнозах и наблюдениях, теперь вы пытаетесь выполнить линейную регрессию: Наблюдение (O) = a + b X Прогноз (P). В этом случае MSE представляет собой сумму квадратов разности между O и P и делится на размер выборки N.

Но если вы хотите измерить, как работает линейная регрессия, вам нужно рассчитать среднее квадратическое значение (MSR). В том же случае сначала будет вычисляться остаточная сумма квадратов (RSS), которая соответствует сумме квадратов разностей между фактическими значениями наблюдений и прогнозируемыми наблюдениями, полученными из линейной регрессии. Затем следует RSS, деленная на N-2, чтобы получить MSR.

Проще говоря, в этом примере MSE не может быть оценена с использованием RSS / N, поскольку компонент RSS больше не является тем же самым для компонента, используемого для вычисления MSE.

— Dr.CYY
источник

1

Я не понимаю этот ответ.

— Майкл Р. Черник

Посмотрите, на основе упомянутого примера выборочного прогнозирования и наблюдаемых значений данных установлена линейная регрессия: Наблюдение (O) = a + b X Прогноз (P) (a, b - перехват и наклон соответственно). В этом случае MSE = Σ (OP) ^ 2 / n, где Σ (OP) ^ 2 - сумма квадратов ошибок (SSE), а n - размер выборки. Тем не менее, среднеквадратичные вычеты (MSR) = Σ (OO´) ^ 2 / n-2, где Σ (OO´) ^ 2 равно Остатку суммы квадратов (RSS) и O` = a + b X P. MSR и RSS в основном используются для проверки общей значимости линейной регрессии. Также обратите внимание, SSE = систематическая ошибка (SE) + RSS, где SE = Σ (PO´) ^ 2

— Dr.CYY