Как Лассо масштабируется с размером матрицы дизайна?

Если у меня есть проектная матрица , где - число наблюдений измерения , какова сложность решения для с LASSO, без и ? Я думаю, что ответ должен относиться к тому, как масштабируется одна итерация LASSO с этими параметрами, а не к тому, как масштабируется количество итераций (сходимость), если вы не чувствуете иначе. $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

Я читал этот предыдущий вопрос о сложности LASSO , но он, кажется, расходится с обсуждением glmnet здесь и здесь . Я знаю, что существует множество алгоритмов, включая подход GLMnet для GLMnet, но я пишу статью о замене компонента LASSO на родительский алгоритм и хотел бы включить обсуждение сложности LASSO в целом, особенно с и . Я также хотел бы знать сложность glmnet в базовом не разреженном случае, но упомянутая статья немного сбивает с толку, поскольку вся сложность алгоритма не является явной. $d$ $n$

— rnoodle
источник

Непонятно, почему этот ответ stats.stackexchange.com/a/190717/28666 (в ветке, на которую вы ссылались ) не отвечает на ваш вопрос. Можете ли вы уточнить? Что расходится с чем?

— амеба

Страница 6 в [pdf] [1] гласит: «Таким образом, полный цикл по всем d переменным стоит

». Однако вопрос вы связываете с состояниями

. Я пропускаю цикл, чтобы получить сложность

? [1]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba Ссылка, которую вы предоставляете для алгоритма LARS - я хочу знать о подходе GLM.

— rnoodle

Ссылки,

для наименьшей угловой регрессии и

для координатного спуска, верны. Разница в том, что (1) LARS находит точное решение в

(и делает это, пересекая весь путь возможного

со сложностью, равной задаче OLS, ко всей задаче, которая также масштабируется как

), в то время как (2) спуск координат делает «только» один шаг аппроксимации в

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

, сходясь / «спускаясь» ближе к минимуму задачи LASSO. LARS использует

шагов. С координатным спуском ... никто не знает.

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Секст Эмпирик

Ответы из ссылок,

для регрессии наименьшего угла $\mathcal{O}(d^2n)$
для координатного спуска $\mathcal{O}(dn)$

, верны.

Разница в том, что

Уравнения ЛАРС пишутся в замкнутом виде и находят точное решение

$O(d^2n)$

пока

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

Масштабирование LARS - это проблема сложности вычислений. Масштабирование спуска координат является проблемой, связанной с вычислительной сложностью и сходимостью.

— Секст Эмпирик
источник