Средняя абсолютная ошибка ИЛИ среднеквадратическая ошибка?

Зачем использовать среднеквадратичную ошибку (RMSE) вместо средней абсолютной ошибки (MAE) ??

Здравствуй

Я исследовал ошибку, сгенерированную в вычислениях - сначала я рассчитал ошибку как среднеквадратичную среднеквадратичную ошибку.

Присмотревшись немного поближе, я вижу, что эффекты возведения в квадрат ошибки дают больший вес большим ошибкам, чем меньшим, отклоняя оценку ошибки в сторону нечетного выброса. Это довольно очевидно в ретроспективе.

Итак, мой вопрос - в каком случае средняя квадратная ошибка будет более подходящей мерой ошибки, чем средняя абсолютная ошибка? Последнее мне кажется более подходящим или я что-то упустил?

Чтобы проиллюстрировать это, я приложил пример ниже:

Диаграмма рассеяния показывает две переменные с хорошей корреляцией,
две гистограммы справа отображают погрешность между Y (наблюдаемая) и Y (прогнозируемая) с использованием нормированных RMSE (вверху) и MAE (внизу).

введите описание изображения здесь

В этих данных нет значительных выбросов, и MAE дает меньшую ошибку, чем RMSE. Есть ли какой-либо разумный, кроме того, чтобы быть предпочтительным, MAE, для использования одной меры ошибки по сравнению с другой?

— user1665220
источник

Поскольку RMSE и MAE являются двумя различными показателями погрешности, числовое сравнение между ними (которое заключается в утверждении, что MAE "ниже", чем RMSE) не представляется значимым. Эта линия должна была соответствовать некоторому критерию: этот критерий, каким бы он ни был, должен быть соответствующей мерой ошибки.

— whuber

Линия была построена с использованием метода наименьших квадратов - но это всего лишь пример, показывающий разницу в измеренной ошибке. Моя настоящая проблема заключается в использовании оптимизатора для определения четырех параметров функции с некоторой мерой минимизированной ошибки, MAE или RMSE.

— user1665220

Спасибо за разъяснение. Но какую именно ошибку вы интересуете? Ошибка в подгонке или ошибки в оценках параметров ?

— whuber

Ошибка в посадке. У меня есть некоторые лабораторные образцы, которые дают y, который я хочу предсказать, используя функцию. Я оптимизирую функцию для 4 показателей, сводя к минимуму ошибку соответствия между наблюдаемыми и предсказанными данными.

— user1665220

В RMSE мы рассматриваем корень числа предметов (n). Это корень MSE, деленный на корень n. Корень MSE в порядке, но вместо деления на n он делится на корень n для получения RMSE. Я чувствую, что это будет политика. Реальность будет (корень MSE) / н. Таким образом, MAE лучше.

Ответы:

Это зависит от вашей функции потери. Во многих случаях имеет смысл придавать больший вес точкам, которые находятся дальше от среднего значения, то есть отклонение на 10 более чем вдвое хуже, чем отклонение на 5. В таких случаях RMSE является более подходящей мерой ошибки.

Если отклонение на десять - это вдвое хуже, чем отклонение на 5, тогда лучше использовать MAE.

В любом случае, не имеет смысла сравнивать RMSE и MAE друг с другом, как вы делаете это в своем предпоследнем предложении («MAE дает меньшую ошибку, чем RMSE»). MAE никогда не будет выше RMSE из-за того, как они рассчитываются. Они имеют смысл только в сравнении с той же мерой ошибки: вы можете сравнить RMSE для метода 1 с RMSE для метода 2 или MAE для метода 1 с MAE для метода 2, но вы не можете сказать, что MAE лучше, чем RMSE для метода 1 потому что он меньше.

— Джонатан Кристенсен
источник

Я понимаю, что MAE никогда не будет выше, чем RMSE. Я использовал обе оценки ошибок и смотрю на разницу между значениями, чтобы дать представление о влиянии выбросов. Т.е., когда они близко друг к другу, когда они еще дальше друг от друга, я исследую, чтобы увидеть, что происходит. В конечном итоге я хочу предсказать параметры, которые лучше всего соответствуют данным, и, например, 9% ошибок звучат лучше, чем 12% - я просто хотел убедиться, что я выбираю правильный по правильной причине. Приветствия за ваши советы

— user1665220

Основное различие между RMSE (следовательно, MSE) и MAE не в том, как они оценивают ошибки. Вы можете использовать функцию веса, если это необходимо. Основное отличие состоит в том, что MSE относится к L2 Space (у MAE такого нет). Так, например, MSE может измерить количество энергии, необходимое для управления в замкнутом контуре, когда E является сигналом обратной связи (помните, средний квадрат сигнала, в данном случае ошибка, пропорционален его энергии). Также большая часть математики и, следовательно, алгоритмов, таких как Марквардт-Левенберг, работает в этом пространстве. Проще говоря, они используют MSE в качестве своей целевой функции.

— eulerleibniz

Вот еще одна ситуация, когда вы хотите использовать (R) MSE вместо MAE: когда условное распределение ваших наблюдений асимметрично и вы хотите беспристрастное соответствие. (R) MSE минимизируется условным средним , MAE условным медианой . Таким образом, если вы минимизируете MAE, подгонка будет ближе к медиане и смещена.

Конечно, все это действительно зависит от вашей функции потери.

Та же проблема возникает, если вы используете MAE или (R) MSE для оценки прогнозов или прогнозов . Например, данные о небольших объемах продаж обычно имеют асимметричное распределение. Если вы оптимизируете MAE, вы можете быть удивлены, обнаружив, что MAE-оптимальный прогноз - это прогноз с плоским нулем.

Вот небольшая презентация, покрывающая это , и вот недавно приглашенный комментарий к конкурсу прогнозирования M4, где я объяснил этот эффект .

— С. Коласса - Восстановить Монику
источник

+1. Идея сравнения дистрибутивов великолепна, но ... разве метрика, подобная той, которую вы представляете, с треском проваливается N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? Прогнозируемая плотность "разницы" будет минимальной, но фактическая yhatбудет бесполезной. Конечно, это крайний случай. (Возможно, я упускаю что-то очевидное, заранее извиняюсь за это - у меня нет доступа к статье, только презентация.)

— usεr11852 говорит Восстановить Моник

\hat{y} = 1

$\hat{y}=1$

Большое спасибо за разъяснения; Теперь я могу лучше представить концепцию презентации. (Хм ... в конце концов мне нужно достать твою газету. :))

— usεr11852 говорит восстановить Monic

@ usεr11852: не стесняйтесь связаться со мной по электронной почте ( адрес указан здесь ) - если ваша почта не попадет в мой фильтр спама, я с радостью вышлю вам эту статью.

— С. Коласса - Восстановить Монику

@ usεr11852 Я полностью потерял тебя после "как N =", что это?

— Сак

RMSE - более естественный способ описания потерь на евклидовом расстоянии. Поэтому, если вы построите график в 3D, потеря будет в форме конуса, как вы можете видеть выше в зеленом цвете. Это также относится к более высоким измерениям, хотя это труднее визуализировать.

MAE можно рассматривать как расстояние до города. Это не совсем естественный способ измерения потерь, как вы можете видеть на графике синим цветом.

— дан дан
источник