Что такое лассо в регрессионном анализе?

82

Я ищу нетехническое определение лассо и для чего оно используется.

Со страницы Роберта Тибширани (автора оригинальной статьи о лассо): простое объяснение регрессии лассо и наименьшего угла .

112

LASSO (оператор наименьшей абсолютной усадки и выбора) - это метод регрессии, который предусматривает штрафование абсолютного размера коэффициентов регрессии.

Наказывая (или эквивалентно ограничивая сумму абсолютных значений оценок), вы попадаете в ситуацию, когда некоторые оценки параметров могут быть точно равны нулю. Чем больше примененное наказание, тем ниже оценки сокращаются до нуля.

Это удобно, когда нам нужен автоматический выбор объекта / переменной, или когда мы имеем дело с сильно коррелированными предикторами, где стандартная регрессия обычно имеет слишком большие коэффициенты регрессии.

https://web.stanford.edu/~hastie/ElemStatLearn/ (бесплатная загрузка) содержит подробное описание LASSO и связанных с ним методов.

— DCL
источник

Я новичок на сайте; это именно та информация, которую я искал; большое спасибо.

— Пол Фогт

Есть ли PDF-файл о том, как решить эту проблему, используя двойную задачу?

— Рой

Ссылка не работает

— Оливер Анжелил

3

Регрессия LASSO - это тип регрессионного анализа, в котором выбор переменных и регулирование происходят одновременно. Этот метод использует штраф, который влияет на их значение коэффициентов регрессии. По мере увеличения штрафа большее количество коэффициентов становится равным нулю, и наоборот. Он использует технику нормализации L1, в которой параметр настройки используется в качестве величины усадки. При увеличении параметра настройки смещение увеличивается, а если уменьшается, дисперсия увеличивается. Если она постоянна, то никакие коэффициенты не равны нулю и, как правило, стремятся к бесконечности, тогда все коэффициенты будут нулевыми

— Shweta
источник

2

В «нормальной» регрессии (OLS) цель состоит в том, чтобы минимизировать остаточную сумму квадратов (RSS) для оценки коэффициентов

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

В случае регрессии LASSO вы оцениваете коэффициенты с немного другим подходом:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

$\lambda$ $\lambda$

$\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ чем больше штраф применяется к коэффициентам, и чем меньше будут коэффициенты, то некоторые могут стать равными нулю. Это означает, что LASSO может привести к экономным моделям путем выбора функции, и это предотвращает переоснащение модели. Тем не менее, вы можете использовать LASSO, если у вас много функций, и ваша цель - скорее прогнозировать данные, чем интерпретировать коэффициенты вашей модели.

— валун
источник

1

T E X

$\TeX$

T E X

$\TeX$

@Tim: Большое спасибо за это! Это был отличный совет, чтобы нажать кнопку редактирования, чтобы увидеть, как это делается.

— валун