Могут ли RMSE и MAE иметь одинаковое значение?

Я внедряю перекрестную проверку и вычисляю метрики ошибок, такие как RMSE, , MAE, MSE и т. Д.$R^2$

Могут ли RMSE и MAE иметь одинаковое значение?

Да, в теории. Самый простой случай, который я могу себе представить, - это набор данных, в котором все ошибки прогнозирования (то есть невязки) равны 1. RMSE и MAE будут возвращать идентичные значения 1. Можно также построить другие сценарии, но ни один из них не представляется вероятным.$\pm$

РЕДАКТИРОВАТЬ: Спасибо @DilipSarwate за указание (подробно изложено @ user20160 в их превосходном ответе), что этот результат возможен тогда и только тогда, когда абсолютные значения всех ошибок прогнозирования идентичны. Другими словами, в моем примере нет ничего особенного в значении 1; любой другой номер будет работать вместо 1.$\pm$

Средняя абсолютная ошибка (MAE) может равняться среднеквадратичной ошибке (MSE) или среднеквадратичной ошибке (RMSE) при определенных условиях, которые я покажу ниже. Эти условия вряд ли возникнут на практике.

прелиминарии

Пусть $r_i = |y_i - \hat{y}_i|$обозначим абсолютное значение невязки для $i$ й точки данных, и пусть $r = [r_i, \dots, r_n]^T$ - вектор, содержащий абсолютные невязки для всех $n$ точек в наборе данных. Обозначение $\vec{1}$ обозначает вектор единиц $n \times 1$ , MAE, MSE и RMSE можно записать в виде:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Установка MSE равной MAE и перестановка дает:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE и MAE равны для всех наборов данных, где абсолютные невязки решают вышеприведенное уравнение. Два очевидных решения: $r = \vec{0}$ (нулевая ошибка) и $r = \vec{1}$ (все остатки равны $\pm 1$ , как упоминалось в mkt). Но существует бесконечно много решений.

Мы можем интерпретировать уравнение $(2)$ геометрически следующим образом: LHS является точечным произведением $r-\vec{1}$ и $r$ . Произведение с нулевой точкой подразумевает ортогональность. Таким образом, MSE и MAE равны, если вычитание 1 из каждого абсолютного остатка дает вектор, который ортогонален исходным абсолютным остаткам.

Кроме того, заполнив квадрат, уравнение $(2)$ можно переписать так:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Это уравнение описывает $n$ мерную сферу с центром в $[\frac{1}{2}, \dots, \frac{1}{2}]^T$с радиусом$\frac{1}{2} \sqrt{n}$ . MSE и MAE равны тогда и только тогда, когда абсолютные остатки лежат на поверхности этой гиперсферы.

RMSE

Установка RMSE равной MAE и перестановка дает:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

где $I$ - единичная матрица. Множество решений является нулевым пространством из $A$ ; то есть множество всех $r$ таких, что $A r = \vec{0}$ . Чтобы найти нулевое пространство, обратите внимание, что $A$ - это матрица $n \times n$ с диагональными элементами, равными $n-1$ и всеми другими элементами, равными $-1$ . Утверждение $A r = \vec{0}$ соответствует системе уравнений:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Или, переставляя вещи:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

То есть каждый элемент $r_i$ должен равняться среднему значению других элементов. Единственный способ удовлетворить это требование - чтобы все элементы были равны (этот результат также может быть получен при рассмотрении собственного разложения $A$ ). Следовательно, набор решений состоит из всех неотрицательных векторов с одинаковыми элементами:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Таким образом, RMSE и MAE равны тогда и только тогда, когда абсолютные значения остатков равны для всех точек данных.