Почему L1 норма для разреженных моделей

Я читаю книги о линейной регрессии. Есть несколько предложений о нормах L1 и L2. Я их знаю, просто не понимаю, почему L1 норма для разреженных моделей. Может кто-то использовать дать простое объяснение?

Рассмотрим вектор где ε > 0 мало. В L 1 и L 2 нормы → х , соответственно, задаются$\vec{x}=(1,\varepsilon)\in\mathbb{R}^2$$\varepsilon>0$$l_1$$l_2$$\vec{x}$

Теперь скажем, что в рамках некоторой процедуры регуляризации мы собираемся уменьшить величину одного из элементов на δ ≤ ε . Если мы изменим x 1 на 1 - δ , результирующие нормы$\vec{x}$$\delta\leq\varepsilon$$x_1$$1-\delta$

С другой стороны, уменьшение на δ дает нормы$x_2$$\delta$

Здесь следует отметить, что при штрафе регуляризация большего члена x 1 приводит к гораздо большему уменьшению нормы, чем при меньшем члене x 2 ≈ 0 . Для штрафа l 1 , однако, снижение то же самое. Таким образом, при наложении штрафа на модель с использованием нормы l 2 очень маловероятно, что что-либо когда-либо будет установлено на ноль, поскольку уменьшение нормы l 2 при переходе от ε к 0 практически не существует, когда ε мало. С другой стороны, снижение л $l_2$$x_1$$x_2\approx 0$$l_1$$l_2$$l_2$$\varepsilon$$0$$\varepsilon$$l_1$норма всегда равна , независимо от количества штрафа.$\delta$

Еще один способ думать об этом: не столько, что штрафы поощряют разреженность, но что штрафы l 2 в некотором смысле препятствуют разреженности, принося убывающую отдачу, когда элементы приближаются к нулю.$l_1$$l_2$

В разреженной модели мы думаем о модели, в которой многие веса равны 0. Поэтому рассмотрим, как L1-регуляризация с большей вероятностью может создать 0-веса.

Рассмотрим модель, состоящую из весов .$(w_1, w_2, \dots, w_m)$

С регуляризацией L1 вы штрафуете модель функцией потерь = Σ i | ш я | ,$L_1(w)$$\Sigma_i |w_i|$

С L2-регуляризацией вы штрафуете модель функцией потерь = $L_2(w)$$\frac{1}{2} \Sigma_i w_i^2$

При использовании градиентного спуска вы будете итеративно изменять веса в противоположном направлении градиента с шагом умноженным на градиент. Это означает, что более крутой градиент заставит нас сделать больший шаг, в то время как более плоский градиент заставит нас сделать меньший шаг. Давайте посмотрим на градиенты (субградиент в случае L1):$\eta$

, гдеsign(w)=(w$\frac{dL_1(w)}{dw} = sign(w)$$sign(w) = (\frac{w_1}{|w_1|}, \frac{w_2}{|w_2|}, \dots, \frac{w_m}{|w_m|})$

$\frac{dL_2(w)}{dw} = w$

Если мы построим график функции потерь и ее производной для модели, состоящей только из одного параметра, то для L1 это будет выглядеть так:

И вот так для L2:

Обратите внимание, что для градиент равен 1 или -1, за исключением случаев, когда w 1 = 0 . Это означает, что L1-регуляризация будет перемещать любой вес к 0 с тем же размером шага, независимо от значения веса. Напротив, вы можете видеть, что градиент L 2 линейно уменьшается к 0, когда вес приближается к 0. Поэтому L2-регуляризация также сместит любой вес к 0, но при приближении веса к 0 будут предприниматься все меньшие и меньшие шаги.$L_1$$w_1 = 0$$L_2$

Попробуйте представить себе, что вы начинаете с модели с и использованием η = $w_1 = 5$ . На следующем рисунке вы можете увидеть, как градиентный спуск с использованием L1-регуляризации делает 10 обновленийw1:=w1-η⋅dL1(w$\eta = \frac{1}{2}$, до достижения модели сw1=0:$w_1 := w_1 - \eta \cdot \frac{dL_1(w)}{dw} = w_1 - \frac{1}{2} \cdot 1$$w_1 = 0$

В отличие от этого, с L2-регуляризацией, где , градиент равенw1, в результате чего каждый шаг находится на полпути к 0. То есть мы производим обновлениеw1:=w1-η⋅dL2(w$\eta = \frac{1}{2}$$w_1$ Следовательно, модель никогда не достигает веса 0, независимо от того, сколько шагов мы предпримем:$w_1 := w_1 - \eta \cdot \frac{dL_2(w)}{dw} = w_1 - \frac{1}{2} \cdot w_1$

$\eta$

Рисунок 3.11 из Элементов Статистического Обучения Хасти, Тибширани и Фридмана очень показателен:

$\hat{\beta}$$\beta_1$$\beta_2$$\hat{\beta}$$L_1$$L_2$) регрессия соответственно. Эвристически, для каждого метода мы ищем пересечение красных эллипсов и синей области, так как цель состоит в том, чтобы минимизировать функцию ошибок при сохранении осуществимости.

$L_1$

$\hat \beta$$\hat \beta$$\ell_1 (\hat \beta) < t$$\ell_2 (\hat \beta) < t$

$\ell_1$$\ell_1$$\{ x : \ell_1(x) \le 1\}$

В более общем смысле, эта книга является хорошим справочным материалом по этому вопросу: и строгим, и хорошо иллюстрированным, с отличными объяснениями

Простой нематематический ответ:

Для L2: штрафной термин возводится в квадрат , поэтому возведение в квадрат маленького значения сделает его меньше. Нам не нужно устанавливать ноль для достижения нашей цели - получить минимальную квадратную ошибку, мы получим ее до этого.

Для L1: штрафной термин является абсолютным , нам может потребоваться перейти к нулю, так как нет катализатора, чтобы сделать маленький меньше .

Это моя точка зрения.

На рисунке показаны формы области, занимаемой нормами L1 и L2. Второе изображение состоит из различных контуров градиентного спуска для различных задач регрессии. На всех контурных графиках наблюдайте красный круг, который пересекает хребет или норму L2. пересечение не на осях. Черный круг во всех контурах представляет тот, который пересекает норму L1 или лассо. Пересекается относительно близко к осям. Это приводит к увеличению коэффициентов до 0 и, следовательно, к выбору признаков. Следовательно, норма L1 делает модель разреженной.

Более подробное объяснение по следующей ссылке: Нажмите Post to Towers Data Science