Как работает «ступенчатая регрессия»?

Я использовал следующий код R, чтобы соответствовать пробитной модели:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Я хочу знать, что делает stepwiseи backward/forwardделает именно и как выбрать переменные?

Принцип пошагового отбора

1. Вы подходите модели со всеми переменными, которые вы хотите. Это ваша текущая лучшая модель.
2. Вы удаляете одну переменную (или добавляете одну из переменных, которые не используются в текущей наилучшей модели), и для каждой из них вы подгоняете новую модель и сравниваете их с каждой новой и исходной в соответствии с BIC (или любым другим). другой критерий, такой как AIC ). Вы получаете другую "текущую лучшую модель".

Вы повторяете 2. пока не произойдет сокращение BIC. У вас есть только локальный минимум BIC, что означает, что вы не можете получить лучшую модель среди всех возможных вариантов подмножеств переменных. Но, в любом случае, их обычно слишком много, так что это способ немного оптимизировать без лишней работы.

Смотрите также Пошаговая регрессия и Выбор модели в Википедии.

Пошаговая регрессия в основном соответствует регрессионной модели, добавляя / опуская ковариаты по одному на основе указанного критерия (в приведенном выше примере критерий будет основан на BIC).

Указывая вперед, вы говорите, Rчто хотели бы начать с самой простой модели (то есть с одной ковариаты), а затем добавить одну ковариату за раз, оставляя только те, которые приводят к улучшению BIC моделей.

Указывая в обратном направлении, вы говорите, Rчто хотите начать с полной модели (т. Е. Модели со всеми ковариатами), а затем отбросить ковариаты, один раз за раз, что приведет к улучшению BIC.

Поэтапная регрессия может быть очень опасной статистической процедурой, поскольку она не является оптимальной процедурой выбора модели. Этот метод может привести к очень плохому выбору модели, поскольку он не защищает вас от таких проблем, как множественные сравнения.