Почему «расслабленное лассо» отличается от стандартного лассо?

Если мы начнем с набора данных , применим к нему Лассо и получим решение , мы можем снова применить Лассо к набору данных , где - это набор ноль индексов , чтобы получить решение, , называемое «расслабленным решением LASSO» (поправьте меня, если я ошибаюсь!). Решение должно удовлетворять условиям Каруша-Куна-Такера (KKT) для но, учитывая вид условий для , не удовлетворяет ли оно им? Если да, то какой смысл делать LASSO во второй раз?β L ( X S , Y ) S β L β R L β $(X,Y)$$\beta^L$$(X_S, Y)$$S$$\beta^L$$\beta^{RL}$$\beta^L$( X S , Y $(X,Y)$$(X_S, Y)$

Этот вопрос является продолжением: Преимущества двойного лассо или двойного лассо?

Из определения 1 Meinshausen (2007) , есть два параметра, управляющих решением расслабленного лассо.

Первый, , контролирует выбор переменной, тогда как второй, ϕ , контролирует уровень усадки. Когда ϕ = 1, и лассо, и релаксированный-лассо одинаковы (как вы сказали!), Но для ϕ < 1 вы получите решение с коэффициентами, более близкими к тому, что дало бы ортогональную проекцию на выбранные переменные (разновидность мягкого смещения) ).$\lambda$$\phi$$\phi= 1$$\phi<1$

Эта формулировка фактически соответствует решению двух задач:

1. Сначала полный лассо с параметром штрафования $\lambda$
2. $X_S$$X$$\lambda\phi$