Понимание AIC и критерий Шварца

Я управляю логистической моделью. Фактический набор данных модели содержит более 100 переменных, но я выбираю набор тестовых данных, в котором имеется около 25 переменных. До этого я также сделал набор данных, который имел 8-9 переменных. Мне говорят, что значения AIC и SC можно использовать для сравнения модели. Я заметил, что модель имела более высокие значения SC, даже когда переменная имела низкие значения p (например, 0053). На мой взгляд, модель с переменными, имеющими хороший уровень значимости, должна приводить к низким значениям SC и AIC. Но этого не происходит. Может кто-нибудь, пожалуйста, уточнить это. Короче хочу задать следующие вопросы:

Количество переменных имеет какое-либо отношение к SC AIC?
Должен ли я сосредоточиться на значениях p или низких значениях SC AIC?
Каковы типичные способы снижения значений SC AIC?

model-selection logistic aic

— Аюш Бияни
источник

$-2\log(\ell)+2k$ $k$ $p$ все еще могут быть низкими, что не дает много информации о подгонке модели. По крайней мере, посмотрите, показывает ли AIC значительное уменьшение при сравнении модели только с перехватом и модели с ковариатами. Тем не менее, если ваш интерес заключается в поиске лучшего подмножества предикторов, вам, безусловно, придется искать методы выбора переменных.

Я бы посоветовал взглянуть на штрафную регрессию , которая позволяет выполнять выбор переменных, чтобы избежать проблем с переобучением. Это обсуждается в Стратегиях регрессионного моделирования Фрэнка Харрелла (стр. 207 и далее) или Moons et al., Оценка максимальной вероятности наказания для прямой корректировки диагностических и прогностических моделей прогнозирования овероптимизма: клинический пример , J Clin Epid (2004) 57 ( 12).

Смотрите также пакеты Design ( lrm) и stepPlr ( step.plr) R или штрафные пакеты. Вы можете просмотреть связанные вопросы по выбору переменных на этом SE.

— хл
источник

Привет, ЧЛ, спасибо за ответ. Я признаю, что получил некоторую информацию из твоего ответа. Позвольте мне выразить свое понимание, а затем вы можете прокомментировать, пожалуйста. (1) Я получаю подсказку, что значения P могут уменьшиться, если размер вашей выборки большой ...-- Это так ?? Насколько я понимаю, значения p могут только показать, отклонена или нет ваша нулевая гипотеза. (2) Теперь я понимаю, что мне нужно увидеть разницу в значениях AIC только с перехватом и с ковариатами. Я полагаю, когда мы говорим, что мы хотим снизить AIC, мы имеем в виду один и тот же набор данных. Я получаю характер персонажа, оставленный в моем комментарии, поэтому буду комментировать снова, как только вы ответите, пожалуйста,

— ayush biyani

@ayush (1) статистика теста (например, Wald) зависит от размера выборки (стандартная ошибка уменьшается с увеличением размера выборки, и вы, вероятно, получите более низкие значения p при увеличении выборки). (2) да, хотя AIC может использоваться для сравнения не вложенных моделей, здесь я думал об этом как о способе сравнения различных моделей возрастающей сложности.

— chl

спасибо еще раз .. Теперь я понимаю суть значения p. Примерно через 5 минут я запустил модель, которая дает мне значения p ниже 0,05 для всех переменных, но AIC 28238,407 только с перехватом и с ковариатами 21507,933. У меня также есть случай, когда AIC 16035.xy только с перехватом и с ковариатами 4234.xy. Каково ваше мнение, сравнивая два случая? Обратите внимание, что вторая модель имела разные переменные 25 var, в то время как первая имела 20. Таким образом, вторая имела больше переменных (25 сравнений с 20) с более низким AIC. Хотя значения р не были 0,05 для всех. Пожалуйста, предложите .. больше спросить после этого .. Спасибо.

— Аюш Бияни

@ayush Трудно ответить на вопрос о качестве модели, не зная, как были выбраны переменные. Разрыв в AIC между моделью, включающей только перехват и некоторые ковариаты, дает представление о «объяснительной силе» этих предикторов (остаточное отклонение, по-видимому, уменьшается в большей степени во втором показанном вами случае, и AIC наказывает за # параметры, как я уже сказал в своем ответе). Это ни в коем случае не полный ответ об актуальности этих предикторов. Я бы предложил вам задать более конкретный вопрос (IMO), например, о выборе переменных в GLM для вашего конкретного исследования.

— chl

Объединение SC и AIC НЕПРАВИЛЬНО . Это очень разные вещи, хотя люди сильно злоупотребляют ими. AIC имеет смысл, когда вы предсказываете вещи, использование SC в этом сценарии может привести (не всегда) к неправильным результатам. Точно так же, если вы заинтересованы в выборе модели по принципу скупости (Occam's Razor), SC лучше. Я не хочу вдаваться в теоретические детали, но в двух словах: SC - хорошо для экономных моделей, когда вы хотите что-то эквивалентное простейшей модели для объяснения ваших данных, AIC - Когда вы хотите прогнозировать. AIC не предполагает, что ваша истинная модель лежит в пространстве модели, как SC.

Во-вторых, совместное использование значений p и информационных критериев также может вводить в заблуждение, как объяснено гл .

— suncoolsu
источник