Выбор модели с логистической регрессией Ферт

В небольшом наборе данных ( ), с которым я работаю, несколько переменных дают мне идеальный прогноз / разделение . Таким образом, я использую логистическую регрессию Фёрта для решения этой проблемы. $n\sim100$

Если я выберу лучшую модель по AIC или BIC , должен ли я включить штрафной штраф Ферт в вероятность при вычислении этих информационных критериев?

— Stask
источник

Не могли бы вы объяснить, почему это неизбежно, поскольку выбор переменных не помогает решить проблему «слишком много переменных, слишком маленький размер выборки»?

— Фрэнк Харрелл

Это так плохо, как только может.

— Фрэнк Харрелл

Рассматривали ли вы решение этой проблемы байесовского вывода? Логистическая регрессия Ферт эквивалентна MAP с Джеффри до. Вы можете использовать аппроксимацию полностью по Лапласу для оценки предельных правдоподобий - что похоже на скорректированный BIC (аналогичный AICc)

— вероятностный

@user, потому что такие переменные обычно предсказывают только несколько случаев, и это невоспроизводимо: истинная вероятность для этой ячейки может быть близка к 90%, скажем, но с двумя случаями в ней вы получите два случая в 81% случаев ,

— StasK

Ссылка для скачивания статьи K & K (1996), найденной в Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Алекос Пападопулос

Если вы хотите обосновать использование BIC: вы можете заменить максимальное правдоподобие оценкой максимального апостериорного значения (MAP), и полученный критерий типа BIC остается асимптотически верным (в качестве размера выборки ). Как упомянуто @probabilityislogic, логистическая регрессия Фёрта эквивалентна использованию априора Джеффри (так что то, что вы получаете из своего регрессионного соответствия, это MAP). $n \to \infty$

BIC - это псевдобайесовский критерий, который (приблизительно) получен с использованием разложения вероятности вокруг оценки максимального правдоподобия . Таким образом, он игнорирует предыдущее, но эффект последнего исчезает, когда информация концентрируется в вероятности.

п_{Y} (Y) знак равно \int L (θ; Y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

В качестве побочного замечания, регрессия Фёрта также устраняет смещение первого порядка в экспоненциальных семействах.

— lbelzile
источник