Какова временная сложность регрессии Лассо?

Какова асимптотическая временная сложность регрессии Лассо по мере роста числа строк или столбцов?

lasso time-complexity

— user2763361
источник

Ответы:

Напомним, что Лассо является линейной моделью с регуляризацией. $l_1$

Нахождение параметров можно сформулировать как задачу оптимизации без ограничений, где параметры задаются как

. $\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

В ограниченной формулировке параметры задаются как

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Это проблема квадратичного программирования и, следовательно, полином.

Почти все выпуклые процедуры оптимизации, даже для гибких нелинейных вещей, таких как нейронные сети, полагаются на вычисление производной ваших целевых параметров по параметрам. Вы не можете взять производную от хотя. Таким образом, вы полагаетесь на различные методы. Существует много методов поиска параметров. Вот обзорный документ на тему « Оптимизация наименьших квадратов с регуляризацией L1-нормы» . Сложность по времени итеративной выпуклой оптимизации довольно сложно проанализировать, поскольку она зависит от критерия сходимости. Как правило, итерационные проблемы сходятся в меньшее количество эпох по мере увеличения наблюдений. $\alpha||w||_1$

— Джессика Коллинз
источник

Несколько вещей: сказать, что проблема является «полиномиальной», не особенно полезно, если, возможно, вы не смотрите на какую-то проблему комбинаторики (которая обычно является экспоненциальной). Во-вторых, вычисление производных в значительной степени не является ограничивающим шагом. В-третьих, обычно при обсуждении временной сложности итеративного алгоритма обычно рассматривается стоимость за шаг и, следовательно, он не зависит от критериев сходимости. Наконец, обычно не так, что больше наблюдений = меньше итераций.

— Клифф А.Б.

Хотя @JacobMick предоставляет более широкий обзор и ссылку на обзорный документ, позвольте мне дать «краткий ответ» (который можно считать частным случаем его ответа).

Пусть число переменных-кандидатов (объектов, столбцов) равно а размер выборки (количество наблюдений, строк) - . Рассмотрим LASSO, реализованный с использованием алгоритма LARS ( Efron et al., 2004 ). Вычислительная сложность LASSO составляет ( там же ) $K$ $n$ $\mathcal{O}(K^3 + K^2 n)$

Для , и вычислительной сложности Лассо $K<n$ $K^3 < K^2 n$ $\mathcal{O}(K^2 n)$ , который является таким же , как и регрессии с переменных ( Эфрон и др., 2004 , стр. 443-444 также цитируется в Schmidt, 2005 , раздел 2.4; вычислительная сложность регрессии приведена в этом посте ). $K$
$K \geqslant n$ $K^3 \geqslant K^2 n$ $\mathcal{O}(K^3)$

Ссылки:

Эфрон, Брэдли и др. «Наименьший угол регрессии». Летопись статистики 32.2 (2004): 407-499.
Шмидт, Марк. «Оптимизация наименьших квадратов с регуляризацией l1-нормы». Отчет о проекте CS542B (2005).

— Ричард Харди
источник

Ричард, можете ли вы прокомментировать сложность итерации для подхода GLM здесь stats.stackexchange.com/questions/280304/… ?

— rnoodle

@moodle, я не могу без углубления в это (что у меня нет времени в настоящее время), но +1 для вашего вопроса.

— Ричард Харди

Я посмотрел, но это не ясно - было бы хорошо, чтобы получить вторую пару глаз на это. Таким образом, есть сложность итерации и полная сложность сходимости, и я думаю, что литература несколько расплывчата, иногда по определениям. В основном у меня есть алгоритм, который использует решатель лассо в очень критической позиции, так что сложность моего алгоритма сильно зависит от решателя. Было бы хорошо прибить это. Ура! Я вознагражу его за ваш вклад

— rnoodle

@ rnoodle, я сильно сомневаюсь, что смогу помочь тебе там в ближайшее время, но щедрость наверняка привлечет других людей, которые знают лучше. Удачи!

— Ричард Харди