Наименьший угол регрессии против лассо

Регрессия под наименьшим углом и лассо имеют тенденцию давать очень похожие пути регуляризации (идентичные, за исключением случаев, когда коэффициент пересекает ноль).

Они оба могут эффективно соответствовать практически одинаковым алгоритмам.

Есть ли какая-либо практическая причина, чтобы предпочесть один метод другому?

Теоремы «без бесплатного обеда» предполагают, что нет никаких априорных различий между алгоритмами статистического вывода, то есть, работает ли LARS или LASSO лучше всего, зависит от природы конкретного набора данных. Тогда на практике лучше всего попробовать оба варианта и использовать надежный оценщик производительности обобщения, чтобы решить, какой из них использовать в работе (или использовать ансамбль). Поскольку различия между LARS и LASSO довольно незначительны, различия в производительности, вероятно, также будут довольно незначительными, но в целом есть только один способ узнать наверняка!

При использовании в поэтапном режиме алгоритм LARS представляет собой жадный метод, который не дает доказуемо непротиворечивой оценки (другими словами, он не сходится к стабильному результату при увеличении количества выборок).

И наоборот, LASSO (и, следовательно, алгоритм LARS при использовании в режиме LASSO) решает проблему подгонки выпуклых данных. В частности, эта задача (штрафованная линейная оценка L1) обладает множеством хороших доказанных свойств (согласованность, разбросанность).

Таким образом, я бы попытался всегда использовать LARS в режиме LASSO (или использовать другой решатель для LASSO), если у вас нет очень веских причин предпочесть поэтапное.

LASSO - это не алгоритм как таковой, а оператор.

$\ell_1$

Другой - LARS, очень популярный из-за своей простоты, связи с процедурами пересылки (но не слишком жадной), очень конструктивного доказательства и легкого обобщения.

Даже по сравнению с современными решениями для квадратичного программирования, LARS может быть гораздо более эффективным.

$l_1$$l_1$$l_2$

Намерение этого ответа состоит в том, чтобы указать, что в настоящее время LARS, кажется, заменили методы координатного спуска и стохастического координатного спуска . Эти методы основаны на особенно простых алгоритмах, но в то же время производительность кажется выше, чем у LARS (часто на один-два порядка быстрее). Примеры см. В этой статье Friedman et al.

Так что, если вы планируете внедрять LARS, не надо. Используйте координату-спуск, который занимает несколько часов.

$\lambda$

Вот мое мнение:

$C_p$

Кроме того, LARS вычислительно быстр и надежен. Лассо быстр, но есть небольшая разница между алгоритмами, которая заставляет LARS побеждать в скорости. С другой стороны, существуют альтернативные пакеты, например, в R, называемые glmnet, которые работают более надежно, чем пакет lars (потому что он более общий).

Подводя итог, нет ничего существенного, что можно рассматривать о ларсе и лассо. Это зависит от контекста, который вы собираетесь использовать модель.

Я лично советую использовать glmnet в R как в больших, так и в низких измерениях. или, если вас интересуют другие критерии, вы можете использовать http://cran.r-project.org/web/packages/msgps/ package.

В некоторых контекстах регуляризованный вариант решения наименьших квадратов может быть предпочтительным. Например, алгоритм LASSO (оператор наименьшей абсолютной усадки и выбора) находит решение методом наименьших квадратов с ограничением | β | 1, L1-норма вектора параметров, не больше заданного значения. Эквивалентно, это может решить неограниченную минимизацию штрафа наименьших квадратов с α | β | 1, где α является константой (это лагранжева форма ограниченной задачи.) Эта проблема может быть решена с помощью квадратичного программирования или более общих методов выпуклой оптимизации, а также с помощью специальных алгоритмов, таких как алгоритм регрессии с наименьшим углом. L1-регуляризованная формулировка полезна в некоторых контекстах из-за ее тенденции отдавать предпочтение решениям с меньшим количеством ненулевых значений параметров, эффективно сокращая количество переменных, от которых зависит данное решение. [11] По этой причине LASSO и его варианты являются основополагающими для области сжатого зондирования.