Как интерпретировать ошибки меры?

Я запускаю классификацию в Weka для определенного набора данных, и я заметил, что если я пытаюсь предсказать номинальное значение, выходные данные конкретно показывают правильно и неправильно предсказанные значения. Тем не менее, теперь я запускаю его для числового атрибута и вывод:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Как мне это интерпретировать? Я пытался погуглить каждое понятие, но я не очень понимаю, так как статистика совсем не в моей области знаний. Я был бы очень признателен за ответ типа ELI5 с точки зрения статистики.

— FloIancu
источник

Обозначим истинное значение интереса как & и стоимости , оцененной с помощью какой - то алгоритм , как & . $\theta$ $\hat{\theta}$

Корреляция говорит вам , сколько и связаны между собой . Это дает значения между и , где нет связи, очень сильная, линейная зависимость и является обратной линейной связи (т.е. большие значения & указывают меньшие значения & , или наоборот). Ниже вы найдете иллюстрированный пример корреляции. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Пример корреляции

(источник: http://www.mathsisfun.com/data/correlation.html )

Средняя абсолютная ошибка:

M A Е знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} | {\hat{θ}}_{я} - θ_{я} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

Корневая среднеквадратичная ошибка является:

р M S Е знак равно \sqrt{\frac{1}{N} Σ_{я знак равно 1}^{N} {({\hat{θ}}_{я} - θ_{я})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Относительная абсолютная ошибка :

р A Е знак равно \frac{Σ_{я знак равно 1}^{N} | {\hat{θ}}_{я} - θ_{я} |}{Σ_{я знак равно 1}^{N} | \bar{θ} - θ_{я} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

где представляет собой среднее значение & . $\overline{\theta}$ $\theta$

Корневая относительная квадратная ошибка:

р р S Е знак равно \sqrt{\frac{Σ_{я знак равно 1}^{N} {({\hat{θ}}_{я} - θ_{я})}^{2}}{Σ_{я знак равно 1}^{N} {(\bar{θ} - θ_{я})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

Как видите, все статистические данные сравнивают истинные значения с их оценками, но делают это немного по-другому. Все они говорят вам «как далеко» ваши оценочные значения от истинного значения . Иногда используются квадратные корни, а иногда абсолютные значения - это потому, что при использовании квадратных корней экстремальные значения оказывают большее влияние на результат (см. Почему квадратная разница, а не абсолютное значение в стандартном отклонении? Или в Mathoverflow ). $\theta$

$\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ $\theta$

$\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ $\theta$

Проверьте также эти слайды .

— Тим
источник

Спасибо за ваше объяснение! Я пытаюсь оценить производительность различных алгоритмов. Так, например, если я получу этот другой вывод (корреляция: 0,3044, MAE: 10,832, MSE: 47,2971, RAE: 83,163%, RSE: 95,2797%), и я попытаюсь сравнить его с первым, который, я могу сказать, выполнил лучше?

— FloIancu

Вы должны выбрать модель с большей корреляцией и меньшими оценками ошибок. Как видите, существует несколько показателей производительности модели (а их всего несколько), и иногда они дают разные ответы. Это почти никогда не тот ответ «да / нет», который вы получаете. Задача выбора модели станет проще, если вы догоняете теорию, вы можете проверить, например, эти лекции .

— Тим

Большое спасибо! Я пошел дальше и отметил твой ответ как ответ, потому что ты мне очень помог!

— FloIancu

@Tim Средняя абсолютная ошибка, вероятно, должна быть сокращена до MAE :)

— Antoine

@MewX Какие ссылки вы ищете? Это в основном пересчитанная RMSE. Об этом особо нечего сказать ...

— Тим