Существует ли статистика соответствия модели (например, AIC или BIC), которую можно использовать для абсолютных, а не просто относительных сравнений?

Я не очень знаком с этой литературой, поэтому, пожалуйста, прости меня, если это очевидный вопрос.

Поскольку AIC и BIC зависят от максимизации вероятности, кажется, что они могут использоваться только для сравнительных сравнений между набором моделей, пытающихся соответствовать заданному набору данных. Насколько я понимаю, не имеет смысла вычислять AIC для модели A на наборе данных 1, вычислять AIC для модели B на наборе данных 2, а затем сравнивать два значения AIC и судить об этом (например) Модель А соответствует набору данных 1 лучше, чем Модель Б - к набору данных 2. Или, возможно, я ошибаюсь, и это разумное решение. Пожалуйста, дайте мне знать.

Мой вопрос заключается в следующем: существует ли статистика соответствия модели, которая может использоваться для абсолютных, а не только для относительных сравнений? Для линейных моделей что-то вроде будет работать; он имеет определенный диапазон и дисциплинирует конкретные представления о том, что является «хорошей» ценностью. Я ищу что-то более общее и подумал, что могу начать с пингования экспертов здесь. Я уверен, что кто-то думал о подобных вещах раньше, но я не совсем знаю правильные термины для продуктивного поиска в Google Scholar.$R^2$

Любая помощь будет оценена.

В соответствии с тем, что предложил Макро, я считаю, что термин, который вы ищете, является показателем эффективности. Хотя это не безопасный способ оценки прогностической силы, это очень полезный способ сравнить качество подгонки различных моделей.

В качестве примера можно привести среднюю среднюю процентную ошибку, но можно легко найти другие из них.

Предположим, что вы используете SetA с моделью A для описания количества дыр в дороге, и вы используете SetB и модель B для описания количества людей в стране, тогда, конечно, вы не можете сказать, что одна модель лучше, чем другая, но вы можете по крайней мере, посмотреть, какая модель дает более точное описание.

Я думаю, что есть несколько новых работ, посвященных именно тому, что вы ищете; Накагава и Шилзет (2013) представляют статистику R² для моделей со смешанными эффектами под названием «R2 GLMM», чтобы определить количество необъяснимых отклонений в модели.

Условный R²GLMM интерпретируется как дисперсия, объясняемая как постоянными, так и случайными факторами;

Предельная величина R²GLMM представляет собой дисперсию, объясняемую фиксированными коэффициентами.

В 2014 году Джонсон обновил уравнение для учета моделей случайных уклонов.

К счастью, вы можете легко рассчитать как предельную, так и условную R²GLMM, используя пакет "MuMIn" в R ( Barton, 2015 ).