Интерпретация номера AIC & BIC

23

Я ищу примеры того, как интерпретировать оценки AIC (информационный критерий Акайке) и BIC (информационный критерий Байеса).

Может ли отрицательное различие между BIC быть интерпретировано как последующие шансы одной модели над другой? Как я могу выразить это словами? Например, BIC = -2 может означать, что шансы лучшей модели по сравнению с другой моделью примерно ? $e^2= 7.4$

Любой основной совет ценится этим неофитом.

interpretation aic bic

— Juan
источник

Взгляните на главу 2. Раздел 2.6, который частично доступен в книгах Google, может, в частности, помочь вам. books.google.se/… (ссылка: выбор модели и вывод на несколько моделей Кеннетом П. Бернхэмом и Дэвидом Р. Андерсоном. Springer Verlag)

— boscovich

6

для модели изаприорноймодели множества может быть recaled к , где лучшая модель множества модели будет иметь . Мы можем использоватьзначения для оценки достоверности данных ( ) для всех моделей в наборе моделей, где: $AIC$ $i$ $\mathsf{\Delta}_i=AIC_i-minAIC$ $\mathsf{\Delta}=0$ $\mathsf{\Delta}_i$ $w_i$ Это часто называют «весомостью доказательств» для модели, которуюдалаприорномунабору моделей. Сувеличениемуменьшаетсячто говорит о том, что модельменее правдоподобна. Этизначенияможно интерпретировать как вероятность того, что модельявляется наилучшей моделью из заданногоаприорногонабора моделей. Мы также могли бы рассчитать относительную вероятность моделисравнению с модельюкак

w_{i} = \frac{e^{(- 0.5 Δ_{i})}}{\sum_{r = 1}^{R} e^{(- 0.5 Δ_{i})}} .

$w_i = \frac{e^{(-0.5\mathsf{\Delta}_i)}}{\sum_{r=1}^Re^{(-0.5\mathsf{\Delta}_i)}}.$

i

$i$

Δ_{i}

$\mathsf{\Delta}_i$

w_{i}

$w_i$

i

$i$

w_{i}

$w_i$

i

$i$

i

$i$

j

$j$

. Например, если

и

то можно сказать, что модель

в 8 раз чаще, чем модель

.

w_{i} / w_{j}

$w_i/w_j$

w_{i} = 0.8

$w_i = 0.8$

w_{j} = 0.1

$w_j = 0.1$

i

$i$

j

$j$

Обратите внимание, что когда модель 1 является лучшей моделью (наименьшая ). Burnham и Anderson (2002) называют это соотношение доказательств. Эта таблица показывает, как соотношение доказательств изменяется относительно лучшей модели. $w_1/w_2 = e^{0.5\Delta_2}$ $AIC$

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

Ссылка

Бернхем, К.П. и Д.Р. Андерсон. 2002. Выбор модели и многомодельный вывод: практический информационно-теоретический подход. Второе издание. Спрингер, Нью-Йорк, США.

Андерсон, Д.Р. 2008. Вывод, основанный на модели в науках о жизни: учебник по фактам. Спрингер, Нью-Йорк, США.

— RioRaider
источник

Не могли бы вы уточнить, к чему относится

, в частности, так как индекс суммы не появляется внутри суммирования. Охватывает ли

пространство модели?

r

$r$

R

$R$

— dopexxx

В наборе моделей R моделей.

— RioRaider

3

Я не думаю, что есть какая-то простая интерпретация AIC или BIC, подобная этой. Они оба являются величинами, которые берут логарифмическую вероятность и применяют к ней штраф за количество оцениваемых параметров. Конкретные штрафы для AIC объясняются Акаике в его работах, начиная с 1974 года. BIC был выбран Гидеоном Шварцем в его статье 1978 года и мотивирован байесовским аргументом.

— Майкл Р. Черник
источник

2

Однако наказание может быть истолковано как модели, ранее поддерживавшие определенный размер. Если вам случится принять этот априор (который имеет некоторые теоретико-информационные обоснования), то вы можете рассчитать коэффициент апостериорных шансов непосредственно из значений IC. Кроме того, @RioRaider упоминает весы Акаике, которые дают вам вероятность того, что данная модель является лучшей моделью из набора с точки зрения дивергенции KL. ( Исх --see стр. 800).

— Дэвид Дж. Харрис

1

Вы, вероятно, используете BIC в результате приближения к байесовскому фактору. Поэтому вы не рассматриваете (более или менее) предварительное распределение. BIC на этапе выбора модели полезен при сравнении моделей. Чтобы полностью понять BIC, фактор Байеса, я настоятельно рекомендую прочитать статью (раздел 4): http://www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf, чтобы дополнить знания: http: // www .stat.washington.edu / Рэфтери / Исследования / PDF / kass1995.pdf

— Роберт
источник