Как интерпретировать среднеквадратичную ошибку (RMSE) в сравнении со стандартным отклонением?

21

Допустим, у меня есть модель, которая дает мне прогнозируемые значения. Я рассчитываю RMSE этих значений. А затем стандартное отклонение фактических значений.

Имеет ли смысл сравнивать эти два значения (дисперсии)? Я думаю, что если среднеквадратичное отклонение и стандартное отклонение схожи / одинаковы, то ошибка / дисперсия моей модели совпадает с тем, что происходит на самом деле. Но если даже не имеет смысла сравнивать эти значения, тогда этот вывод может быть неверным. Если моя мысль верна, то значит ли это, что модель настолько хороша, насколько это возможно, потому что она не может объяснить, что является причиной отклонения? Я думаю, что последняя часть, вероятно, неверна или, по крайней мере, нуждается в дополнительной информации, чтобы ответить.

standard-deviation standard-error rms

— jkim19
источник

22

Давайте предположим , что наши ответы и наши предсказанные значения . $y_1, \dots, y_n$ $\hat y_1, \dots, \hat y_n$

Выборочная дисперсия ( для простоты используется а не ) равна $n$ $n-1$ а СКО $\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ . Таким образом, выборочная дисперсия показывает, насколько сильно варьируются ответы в среднем, а MSE - насколько сильно варьируются ответы в зависимости от наших прогнозов. Если мы думаемобщие среднего , как являющиеся простейших предсказателячто мы когдалибо рассмотреть,затем путь сравнения MSE на образец дисперсию ответовмы можем видетьнасколько больше вариантов мы объяснили с нашей моделью. Это именно то, чтоделает значениев линейной регрессии. $\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$ $\bar y$ $R^2$

Рассмотрим следующую картину: Выборочная дисперсия - это изменчивость вокруг горизонтальной линии. Если мы спроецируем все данные на ось мы увидим это. СКО среднее квадрат расстояния до линии регрессии, то есть изменчивость вокруг линии регрессии (т.е. ). Таким образом, изменчивость, измеренная выборочной дисперсией, представляет собой усредненное квадратное расстояние до горизонтальной линии, которое, как мы видим, существенно больше среднего квадратичного расстояния до линии регрессии. $y_i$ $Y$ $\hat y_i$

— JLD
источник

5

В случае , если речь идет о средней квадратичной ошибке предсказания, здесь может быть: зависимости от того, сколько (p) параметров оценено для прогнозирования, т. е. потеря степени свободы (DF).

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n - p},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p},$

Выборочная дисперсия может быть: где - это просто оценка среднего значения.

\frac{\sum_{i} (y_{i} - \bar{y})^{2}}{n - 1},

$\frac{\sum_i(y_i - \bar{y}) ^2}{n-1},$

\bar{y}

$\bar{y}$

y_{i}

$y_i$

Таким образом, вы можете рассматривать последнюю формулу (выборочную дисперсию) как частный случай первого (MSE), где $\hat{y}_i = \bar{y}$ $\bar{y}$

$\hat{y}_i$

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n},$

что проще всего вычислить.

— Сяо-Фенг Ли
источник

У меня нет привилегии комментировать ответ @Chaconne, но я сомневаюсь, что в его последнем утверждении есть опечатка, где он говорит: «Таким образом, изменчивость, измеренная выборочной дисперсией, представляет собой усредненное квадратное расстояние до горизонтальной линии, которое мы можем см. существенно меньше среднего квадрата расстояния до линии ". Но на рисунке в его ответе предсказание значений y с линией довольно точно, что означает, что MSE мало, по крайней мере, намного лучше, чем «предсказание» со средним значением.

— Сяо-Фенг Ли

3

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Этот аргумент применяется к другим мерам ошибки, не только к RMSE, но RMSE особенно привлекательна для прямого сравнения с SD, потому что их математические формулы аналогичны.

— Tripartio
источник

Это лучший ответ, потому что он объясняет, как сравнение может быть полезным, а не просто описывает различия.

— Ганс