Вопросы с тегом «lasso»

Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи также будут оценены. редактировать: так как я разместил вопрос, chl любезно указал …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я прочитал, что группа Лассо используется для выбора переменных и разреженности в группе переменных. Я хочу знать интуицию, стоящую за этим утверждением. Почему группа лассо предпочтительнее лассо? Почему путь решения группы Лассо не является кусочно-линейным?

13 regression  feature-selection  lasso  regularization 

Я ищу какой-нибудь открытый исходный код или существующую библиотеку, которую я могу использовать. Насколько я знаю, пакет glmnet не очень легко расширяется, чтобы охватить неотрицательный случай. Я могу ошибаться, Любой, у кого есть идеи, высоко ценится. Под неотрицательным я подразумеваю, что все коэффициенты должны быть положительными (> 0).

13 r  lasso 

Я использую пакет 'lars' в R со следующим кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Zou et al. «О« степенях свободы »Лассо» (2007) показывают, что число ненулевых коэффициентов является объективной и непротиворечивой оценкой степеней свободы Лассо. Это кажется немного нелогичным для меня. Предположим, у нас есть модель регрессии (где переменные имеют среднее значение ноль) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. Предположим, что неограниченная оценка OLS для равна …

12 regression  lasso  degrees-of-freedom  shrinkage 

Я пытаюсь понять, как алгоритм Ларса может быть изменен для генерации лассо. Хотя я понимаю LARS, я не могу видеть модификацию Лассо из статьи Tibshirani et al. В частности, я не понимаю, почему условие знака в том, что знак ненулевой координаты должен совпадать со знаком текущей корреляции. Может кто-нибудь, пожалуйста, …

12 lasso 

Есть ли хорошие статьи или книги, посвященные использованию координатного спуска для L1 (лассо) и / или упругой регуляризации сети для задач линейной регрессии?

12 regression  references  lasso  regularization  elastic-net 

Я подгоняю L1-регуляризованную линейную регрессию к очень большому набору данных (с n >> p.). Переменные известны заранее, но наблюдения приходят небольшими порциями. Я хотел бы поддерживать форму лассо после каждого куска. Я, очевидно, могу заново подогнать всю модель после просмотра каждого нового набора наблюдений. Это, однако, было бы довольно неэффективно, …

12 regression  lasso 

Я запрограммировал логистическую регрессию, используя алгоритм IRLS . Я хотел бы применить штраф LASSO для автоматического выбора правильных функций. На каждой итерации решается следующее: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Пусть λλ\lambda - неотрицательное действительное число. Я не наказываю перехват как предложено в Элементах. Статистическое обучение . То же самое для уже нулевых коэффициентов. …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Я читал в нескольких местах, что R Squared не является идеальной мерой, когда модель подгоняется с использованием LASSO. Однако я не совсем понимаю, почему это так. Кроме того, не могли бы вы порекомендовать лучшую альтернативу?

12 regression  lasso  r-squared  penalized 

В сжатом восприятии есть теорема, гарантирующая, что имеет уникальное разреженное решение c (подробности см. В приложении).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Есть ли аналогичная теорема для лассо? Если такая теорема существует, она не только гарантирует стабильность лассо, но и дает лассо …

12 regression  self-study  feature-selection  lasso  regularization 

В настоящее время я работаю над созданием прогнозирующей модели для двоичного результата на наборе данных с ~ 300 переменными и 800 наблюдениями. Я много читал на этом сайте о проблемах, связанных со ступенчатой ​​регрессией, и почему бы не использовать ее. Я изучал регрессию LASSO и ее способность выбирать функции и …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO выберет только одну из них. Кроме того, …

12 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти оптимальный параметр регуляризации (скажем, штраф). Теперь мой вопрос о …

12 lasso  regularization  shrinkage 

Этот пост следует за этим: Почему оценка гребня становится лучше, чем OLS, добавляя константу к диагонали? Вот мой вопрос: Насколько я знаю, в регуляризации хребта используется (евклидово расстояние). Но почему мы используем квадрат этой нормы? (прямое применение приведет к получению квадратного корня от суммы квадрата бета).ℓ 2ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 Для сравнения, мы …

12 lasso  regularization  ridge-regression