Существует ли четкий набор условий, при которых пути лассо, гребня или эластичной сетки монотонны?


18

Вопрос « Что делать из этого лассо-графика (glmnet)» демонстрирует пути решения для оценки лассо, которые не являются монотонными. То есть некоторые коэффициенты растут по абсолютной величине, а затем сокращаются.

Я применил эти модели к нескольким видам наборов данных и никогда не видел такого поведения «в дикой природе», и до сегодняшнего дня предполагал, что они всегда были монотонными.

Существует ли четкий набор условий, при которых пути решения гарантированно будут монотонными? Влияет ли это на интерпретацию результатов, если пути меняют направление?


Монотонный в каком смысле? Мне кажется, что это не очень важно, если вы хотите рассматривать это как график некоторой функции.
Henry.L

4
@ Henry.L Вопрос можно перефразировать следующим образом: когда верно следующее: для у нас есть это для всех , где . То есть лассо равномерно сжимается по компонентам. Не могли бы вы уточнить, в чем вы сомневаетесь? ( & beta ; А , 2 ) J( & beta ; А , 1 ) J J & beta ; А , = Arg мин & beta ; 1λ1λ2(β^λ2)j(β^λ1)jjβ^λ=argminβ12nyXβ22+λβ1
user795305

2
Примечание: понимание , каким образом Lasso усадки коэффициентов является темой как этого вопроса и stats.stackexchange.com/questions/145299/...
user795305

1
Я не знаю, как я пропустил это раньше, на вопрос лассо ответили на вопрос ФП на его собственный вопрос в вопросе выше.
user795305

Ответы:


2

Я могу дать вам достаточное условие путь монотонный: ортонормированный дизайн X .

Предположим, ортонормированная матрица проектирования, то есть с переменными в , мы имеем, что . В ортонормированном дизайне коэффициенты регрессии OLS просто .X X XpX а р øLсек=Х'уXXn=Ipβ^ols=Xyn

Условия Каруша-Хун-Такера для LASSO, таким образом, упрощаются, чтобы:

Xyn=β^lasso+λsβ^ols=β^lasso+λs

Где это суб градиент. Следовательно, для каждого у нас есть , и мы имеют замкнутую форму решения лассо оценок:J { 1 , ... , р } β о л ы J = β л с ы о J + λ s Jsj{1,,p}β^jols=β^jlasso+λsj

β^jlasso=sign(β^jols)(|β^jols|λ)+

Который монотонен в . Хотя это не является необходимым условием, мы видим , что немонотонность должна исходить из соотношения ковариата в .λX

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.