Как сравнить модели на основе AIC?

У нас есть две модели, которые используют один и тот же метод для вычисления логарифмической вероятности, и AIC для одной ниже, чем другой. Тем не менее, тот с более низким AIC интерпретировать гораздо сложнее.

У нас возникают проблемы с принятием решения, стоит ли вводить сложность, и мы судили об этом, используя процентную разницу в AIC. Мы обнаружили, что разница между двумя AIC составляла всего 0,7%, а в более сложной модели AIC была на 0,7% ниже.

Является ли низкая процентная разница между двумя причинами, чтобы избежать использования модели с более низким AIC?
Объясняет ли процент разницы, что в менее сложной модели теряется на 0,7% больше информации?
Могут ли две модели иметь очень разные результаты?

model-selection aic

— Али Тураб Лотия
источник

Возможный дубликат Что нарушает сопоставимость моделей по отношению к AIC?

— Арун Хосе

@ArunJose, это не похоже на дубликат. Вопросы здесь совершенно разные.

— Ричард Харди

Нет. Этот вопрос не о сопоставимости моделей. Мы уже знаем, что модели сравнимы. Этот вопрос относится к тому, что считается значительным различием в AIC и компромиссе между сложностью и соответствием модели.

— Али Тураб Лотия

Никто не сравнивает абсолютные значения двух AIC (которые могут быть как но также ), но учитывает их разницу : где - это AIC модели, а - самая низкая AIC, полученная среди множества рассмотренных моделей (т. Е. Предпочтительной модели). Практическое правило, изложенное, например, в $\sim 100$ $\sim 1000000$

Δ_{i} = A I C_{i} - A I C_{m i n},

$\Delta_i=AIC_i-AIC_{\rm min},$

A I C_{i}

$AIC_i$

i

$i$

A I C_{m i n}

$AIC_{\rm min}$ Burnham & Anderson 2004 , это:

$\Delta_i<2$ $i$
$2<\Delta_i<4$ $i$
$4<\Delta_i<7$ $i$
$\Delta_i>10$

Теперь, что касается 0,7%, упомянутых в вопросе, рассмотрим две ситуации:

$AIC_1=AIC_{\rm min}=100$ $AIC_2$ $AIC_2=100.7$ $\Delta_2=0.7<2$
$AIC_1=AIC_{\rm min}=100000$ $AIC_2$ $AIC_2=100700$ $\Delta_2=700\gg 10$

Следовательно, утверждение о том, что разница между AIC составляет 0,7%, не дает никакой информации.

$\mathcal{L}$ $\Delta_i$ $\Delta_i = AIC_i − AIC_{\rm min}$ $AIC_{\rm min} := 0$

Формулировка AIC предусматривает использование чрезмерного количества параметров, что препятствует переоснащению. Он предпочитает модели с меньшим количеством параметров, если другие не обеспечивают существенно лучшего соответствия. AIC пытается выбрать модель (из рассмотренных), которая наиболее адекватно описывает реальность (в форме исследуемых данных). Это означает, что фактически модель, представляющая собой реальное описание данных, никогда не рассматривается. Обратите внимание, что AIC дает вам информацию, какая модель лучше описывает данные, но не дает никакой интерпретации .

$\Delta_i$ $\Delta_i<2$ $\Delta_i<5$

$i$

p_{i} = \exp (\frac{- Δ_{i}}{2}),

$p_i=\exp\left(\frac{-\Delta_i}{2}\right),$

$AIC_{\rm min}$ $i$ $\Delta_i=1.5$ $p_i=0.47$ $\Delta_i=15$ $p_i=0.0005$ $i$ $AIC_{\rm min}$

Наконец, по поводу формулы для AIC:

A I C = 2 k - 2 L,

$AIC=2k-2\mathcal{L},$

$\mathcal{L}$ $\Delta_i$ $2k$ $\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

Это плохая причина; используйте разницу между абсолютными значениями AIC.
Процент ничего не говорит.
Невозможно ответить на этот вопрос из-за отсутствия информации о моделях, данных и значении различных результатов .

— corey979
источник

Это самое ясное объяснение, которое я когда-либо видел в этом загадочном деле. Я посмотрел на статью, на которую вы ссылались (стр. 270-272), и ваше объяснение здесь является простым и ясным, но очень точным представлением того, что объясняет статья.

— Трипартио

Не могли бы вы помочь с этим вопросом? stats.stackexchange.com/questions/349883/…

— Tripartio