Ридж, лассо и эластичная сетка

Как соотносятся методы регуляризации риджа, LASSO и эластикета? Каковы их соответствующие преимущества и недостатки? Любая хорошая техническая статья, или примечания лекции были бы оценены также.

В книге «Элементы статистического обучения» Hastie et al. обеспечить очень глубокое и тщательное сравнение этих методов усадки. Книга доступна онлайн ( pdf ). Сравнение сделано в разделе 3.4.3, стр. 69.

Основное различие между Лассо и Риджем - это штрафной срок, который они используют. Ридж использует штрафной термин который ограничивает размер вектора коэффициентов. Лассо использует штраф который накладывает разреженность между коэффициентами и, таким образом, делает подобранную модель более интерпретируемой. Elasticnet вводится как компромисс между этими двумя методами и имеет штраф, который представляет собой сочетание норм и .$L_2$$L_1$$L_1$$L_2$

Подводя итог, вот некоторые существенные различия между лассо, хребтом и эластичной сеткой:

1. Лассо делает редкий выбор , в то время как Ридж нет.
2. Если у вас есть сильно коррелированные переменные , регрессия Риджа сжимает два коэффициента друг к другу. Лассо несколько равнодушен и обычно выбирает одно над другим. В зависимости от контекста никто не знает, какая переменная выбрана. Elastic-net - это компромисс между двумя, который пытается сжать и сделать разреженный выбор одновременно.
3. Оценки Риджа безразличны к мультипликативному масштабированию данных. То есть, если обе переменные X и Y умножаются на константы, коэффициенты подгонки не изменяются для данного параметра . Однако для Лассо подгонка не зависит от масштабирования. Фактически, параметр λ должен быть увеличен умножителем, чтобы получить тот же результат. Это более сложно для эластичной сети.$\lambda$$\lambda$
4. $\beta$

Я настоятельно рекомендовал вам взглянуть на Введение в статистическую учебную книгу (Tibshirani et. Al, 2013).

Причина этого в том, что « Элементы статистического обучения» книга предназначена для лиц с повышенным уровнем подготовки в области математических наук. В предисловии к ISL авторы пишут:

Введение в статистических Изучения возникло из осознанной необходимости в более широкую и менее технической обработке этих тем. [...]

Введение в статистическое обучение подходит для продвинутых студентов или магистрантов в области статистики или смежных количественных областях или для лиц в других дисциплинах, которые хотят использовать инструменты статистического обучения для анализа своих данных.

Вышеуказанные ответы очень понятны и информативны. Я хотел бы добавить один незначительный момент с точки зрения статистики. Возьмите регрессию гребня в качестве примера. Это расширение порядковой регрессии наименьших квадратов для решения проблем мультиколлинеарности, когда имеется много взаимосвязанных признаков. Если линейная регрессия

Y=Xb+e

Решение нормального уравнения для множественной линейной регрессии

b=inv(X.T*X)*X.T*Y

Решение нормального уравнения для регрессии гребня

b=inv(X.T*X+k*I)*X.T*Y. 

Это смещенная оценка для b, и мы всегда можем найти штрафной член k, который сделает среднеквадратичную ошибку регрессии Риджа меньше, чем ошибка регрессии OLS.

Для LASSO и Elastic-Net мы не смогли найти такое аналитическое решение.