Каковы преимущества ступенчатой ​​регрессии?

Я экспериментирую со ступенчатой ​​регрессией ради разнообразия в моем подходе к проблеме. Итак, у меня есть 2 вопроса:

1. Каковы преимущества ступенчатой ​​регрессии? Каковы его конкретные сильные стороны?

2. Что вы думаете о гибридном подходе, где вы используете ступенчатую регрессию для выбора объектов, а затем применяете регулярную регрессию, объединяя все выбранные объекты вместе?

Основным преимуществом ступенчатой ​​регрессии является ее вычислительная эффективность. Тем не менее, его производительность, как правило, хуже, чем альтернативные методы. Проблема в том, что он слишком жадный. Делая жесткий выбор следующего регрессора и «замораживая» вес, он делает выбор, который является локально оптимальным на каждом этапе, но в целом неоптимальным. И он не может вернуться, чтобы пересмотреть свой прошлый выбор.

Насколько я знаю, ступенчатая регрессия, как правило, не пользуется популярностью по сравнению с $l_1$ регуляризованной регрессией (LASSO), которая, как правило, дает лучшие решения.

Тибширани (1996) . Регрессионная усадка и отбор с помощью лассо

ЛАССО наказывают норму веса, который вызывает разреженность в растворе (много веса в ноль). Выполняется выбор переменных (допустимые переменные могут иметь ненулевые веса). Степень редкости контролируется термином пенальности, и для его выбора должна использоваться некоторая процедура (перекрестная проверка является распространенным выбором). LASSO требует больших вычислительных ресурсов, чем ступенчатая регрессия, но существует ряд эффективных алгоритмов. Некоторыми примерами являются регрессия с наименьшим углом ( LARS ) и подход, основанный на координатном спуске .$l_1$

Подобный подход к тому, что вы предложили в (2), называется поиском ортогонального соответствия. Это обобщение поиска соответствия, которое является названием ступенчатой ​​регрессии в литературе по обработке сигналов.

Пати и соавт. (1993) . Погоня за ортогональным соответствием: приближение рекурсивной функции с приложениями к вейвлет-разложению

На каждой итерации следующий лучший регрессор добавляется в активный набор. Затем весовые коэффициенты для всех регрессоров в активном наборе пересчитываются. Из-за шага повторного взвешивания этот подход является менее жадным (и имеет лучшую производительность), чем регулярное преследование / ступенчатая регрессия. Но он все еще использует жадный эвристический поиск.

Все эти подходы (ступенчатая регрессия, LASSO и преследование по ортогональному соответствию) могут рассматриваться как приближения к следующей проблеме:

В контексте регрессии столбцы соответствуют независимым переменным, а - зависимой переменной. При обработке сигналов столбцы соответствуют базисным функциям, а - приближенный сигнал. Цель состоит в том, чтобы найти разреженный набор весов который дает наилучшую (наименьших квадратов) аппроксимацию . норма просто подсчитывает количество ненулевых элементов в . К сожалению, эта проблема является NP-сложной, поэтому на практике должны использоваться алгоритмы аппроксимации. Ступенчатая регрессия и стремление к ортогональному сопоставлению пытаются решить проблему с помощью жадной стратегии поиска. ЛАССО переформулирует проблему, используя расслабление$X$$y$$X$$y$$w$$y$$l_0$$w$$l_0$норма норме . Здесь задача оптимизации становится выпуклой (и, следовательно, решаемой). И, хотя проблема больше не идентична, решение аналогично. Если я правильно помню, было доказано, что и LASSO, и стремление к ортогональному согласованию восстанавливают точное решение при определенных условиях.$l_1$

Поэтапный выбор, как правило, не очень хорошая идея. Чтобы понять почему, это может помочь вам прочитать мой ответ здесь: Алгоритмы для автоматического выбора модели .

Что касается преимуществ, то в те дни, когда поиск по всем возможным комбинациям функций был слишком сложным в вычислительном отношении для компьютеров, поэтапный выбор экономил время и был поддающимся обработке. Тем не менее, обратите внимание, что проблемы, обсуждаемые в моем связанном ответе выше, в равной степени относятся к регрессии «наилучшего подмножества», поэтому поэтапно не дает хорошего решения, просто плохое решение быстрее.

Ваше представление о гибридном подходе было бы хорошо, если бы вторая модель (с выбранными функциями) была помещена в новый набор данных .

Я только что взял поиск в Google для того, что такое пошаговая регрессия. Я не уверен, что я полностью понимаю это, но вот моя первая мысль

• Он жадный, поэтому не может дать хорошего решения, как Лассо. Я предпочитаю лассо
• Это просто, легко использовать, легко кодировать
• После использования пошаговой регрессии у вас уже есть обученная модель, использующая выбранные функции, поэтому вам не нужно использовать другой шаг регрессии, который вы упомянули как гибридный подход.