Однажды я слышал метод использования лассо дважды (например, двойное лассо), когда вы выполняете лассо на исходном наборе переменных, скажем, S1, получаете разреженный набор с именем S2, а затем снова выполняете лассо на множестве S2, чтобы получить множество S3. , Есть ли методологический термин для этого? Кроме того, каковы преимущества выполнения лассо дважды?
Ответы:
Да, процедура, которую вы спрашиваете (или думаете), называется расслабленным лассо .
Общая идея заключается в том, что в процессе выполнения LASSO вы, вероятно, включаете «шумовые переменные»; выполнение LASSO для второго набора переменных (после первого LASSO) дает меньше конкуренции между переменными, которые являются «реальными конкурентами», за то, что они являются частью модели, а не просто «шумовыми» переменными. Технически, целью этого метода является преодоление (известной) медленной сходимости LASSO в наборах данных с большим количеством переменных.
Вы можете прочитать больше об этом на оригинальной работе Meinshausen (2007) .
Я также рекомендую раздел 3.8.5 « Элементы статистического обучения» (Hastie, Tibshirani & Friedman, 2008) , в котором дается обзор других очень интересных методов выполнения выбора переменных с использованием LASSO.
Идея состоит в том, чтобы отделить два эффекта лассо
Идея расслабленного лассо состоит в том, что вы разделяете два эффекта: вы используете высокий штраф на первом проходе для выбора переменных; и меньшее наказание на втором проходе, чтобы уменьшить их на меньшую сумму.
Оригинальный документ (как связано с Нестором) дает больше деталей.