Интуиция для степеней свободы LASSO

Zou et al. «О« степенях свободы »Лассо» (2007) показывают, что число ненулевых коэффициентов является объективной и непротиворечивой оценкой степеней свободы Лассо.

Это кажется немного нелогичным для меня.

Предположим, у нас есть модель регрессии (где переменные имеют среднее значение ноль)

y = β x + ε .

$y=\beta x + \varepsilon.$

Предположим, что неограниченная оценка OLS для равна . Это может примерно совпадать с оценкой LASSO для очень низкой интенсивности штрафа. $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Предположим далее, что оценка LASSO для конкретной интенсивности штрафа равна . Например, может быть «оптимальным» для набора данных, найденного с помощью перекрестной проверки. $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Если я правильно понимаю, в обоих случаях степень свободы равна 1, так как оба раза есть один ненулевой коэффициент регрессии.

Вопрос:

Почему степени свободы в обоих случаях одинаковы, хотя предполагает меньшую "свободу" подгонки, чем ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Ссылки:

Зоу, Хуэй, Тревор Хасти и Роберт Тибширани. «О« степенях свободы »лассо». Летопись статистики 35,5 (2007): 2173-2192.

— Ричард Харди
источник

Отличный вопрос, который заслуживает большего внимания!

— Матифу

Предположим, нам дан набор из -мерных наблюдений: , . Предположим, что модель имеет вид: где , и обозначающие внутреннее произведение. Пусть будет оценкой с использованием метода подгонки (либо OLS, либо LASSO для наших целей). Формула для степеней свободы, приведенная в статье (уравнение 1.2): $n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Изучив эту формулу, мы можем предположить, что в соответствии с вашей интуицией истинный DOF для LASSO действительно будет меньше, чем истинный DOF для OLS; коэффициент усадки, вызванный LASSO, должен уменьшать ковариации.

Теперь, чтобы ответить на ваш вопрос, причина того, что DOF для LASSO такой же, как DOF для OLS в вашем примере, заключается просто в том, что вы имеете дело с оценками (хотя и несмещенными), полученными из определенного набора данных, взятого из модели. , из истинных значений DOF. Для любого конкретного набора данных такая оценка не будет равна истинному значению (особенно потому, что оценка должна быть целым числом, в то время как истинное значение вообще является действительным числом).

Однако, когда такие оценки усредняются по многим наборам данных, отобранным из модели, по беспристрастности и закону больших чисел такое среднее будет сходиться к истинному DOF. В случае LASSO некоторые из этих наборов данных приведут к оценке, в которой коэффициент фактически равен 0 (хотя такие наборы данных могут быть редкими, если мала). В случае OLS оценка DOF - это всегда число коэффициентов, а не количество ненулевых коэффициентов, и поэтому среднее значение для случая OLS не будет содержать эти нули. Это показывает, как отличаются оценки и как средняя оценка для LASSO DOF может сходиться к чему-то меньшему, чем средняя оценка для OLS DOF. $\lambda$

— e2crawfo
источник

Спасибо за исправление моих ошибок и неточные формулировки. Дай посмотреть, хорошо ли я тебя понял. По сути, если бы нам пришлось повторить эксперимент много раз (или сделать многократную выборку из одной и той же группы населения), мы бы иногда получали (коэффициент уменьшался бы до нуля) и в среднем (через эксперименты) Я бы получил DoF для LASSO то время как DoF для OLS (очевидно).

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

— Ричард Харди

Кстати, почему оценки степеней свободы должны быть целочисленными? Это правда? Позвольте мне также отметить, что внутренняя запись продукта выглядит излишне сложной и редко используется на этом сайте; матричной записи будет достаточно. Но это твой выбор, конечно.

— Ричард Харди

Да, это о суммах. Оценка степеней свободы должна быть целым числом для LASSO (по крайней мере, для одного набора данных) только потому, что оценка - это число ненулевых коэффициентов.

— e2crawfo

Утверждение Оценка степеней свободы должна быть целым числом для LASSO только потому, что оценка количества ненулевых коэффициентов кажется мне очень тавтологической. В общем, я не думаю, что df должен быть целым числом из самого определения df, которое вы написали. Точно так же в случае гребня это не обязательно ноль.

— Матифу