Может ли увеличиваться при увеличении

11

Если $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , может ли $\|\beta^*\|_2$ увеличиваться при $\lambda$ увеличивается?

Я думаю, что это возможно. Хотя $\|\beta^*\|_1$ не увеличивается при увеличении $\lambda$ (мое доказательство ), $\|\beta^*\|_2$ может увеличиваться. На рисунке ниже показана возможность. Когда $\lambda$ увеличивается, если $\beta^*$ перемещается (линейно) от $P$ к $Q$ , то $\|\beta^*\|_2$ увеличивается, а $\|\beta^*\|_1$ уменьшается. Но я не знаю, как построить конкретный пример (т.е. построить $X$ и $y$ ), чтобы профиль $\beta^*$ демонстрировал такое поведение. Любые идеи? Спасибо.

введите описание изображения здесь

lasso

— ziyuang
источник

10

Ответ - да, и у вас есть графическое доказательство в прямо здесь. $\ell_2$

Посмотрите определение эквивалентности векторных норм. Вы обнаружите, что где - размерность вектора . Следовательно, для нормы есть место для , по сравнению с нормой .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Фактически, проблему, которую вы хотите решить, можно сформулировать так:

Найти такое, что , в то же время $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

квадрат первое неравенство, разверните и увидите, что и что, предполагая, что и , мы получаем из второго неравенства, что мы должны иметь Любое которое удовлетворяет этим ограничениям, будет увеличивать норму при уменьшении нормы .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

В вашем примере, , и и $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Томми Л
источник

Но как это связано со строительством и ?

X

$X$

y

$y$

— Цзыюан,

3

Спасибо за ответ @ TommyL, но он не имеет прямого отношения к построению и . Я как-то сам "решаю" это. Во-первых, когда увеличивается, не будет увеличиваться, когда каждое монотонно уменьшается. Это происходит, когда ортонормирован, в котором мы имеем $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Геометрически в этой ситуации перемещается перпендикулярно контуру нормы , поэтому не может увеличиваться. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

На самом деле, Hastie et al. Упоминается в статье « Вперед поэтапная регрессия и монотонное лассо» , необходимое и достаточное условие монотонности профильных путей:

введите описание изображения здесь

В разделе 6 статьи они построили искусственный набор данных на основе кусочно-линейных базисных функций, который нарушает указанное выше условие, демонстрируя немонотонность. Но если нам повезет, мы также можем создать случайный набор данных, демонстрирующий аналогичное поведение, но более простым способом. Вот мой код R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Я намеренно позволил столбцам иметь высокую корреляцию (далеко от ортонормированного случая), а в истинной есть как большие положительные, так и отрицательные записи. Вот профиль (не удивительно, что активируются только 5 переменных): $X$ $\beta$ $\beta^*$

введите описание изображения здесь

и связь между и : $\lambda$ $\|\beta^*\|_2$

введите описание изображения здесь

Таким образом , мы можем видеть , что в течение некоторого интервала , возрастает как увеличивается. $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
источник