Вопросы с тегом «lasso»

Я новичок в glmnetпакете, и я все еще не уверен, как интерпретировать результаты. Может ли кто-нибудь помочь мне прочитать следующий сюжет трассировки? График был получен путем запуска следующего: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", …

15 r  data-visualization  interpretation  lasso  glmnet 

Мне было интересно, почему методы выбора моделей LASSO и LARS так популярны, даже если они в основном представляют собой просто варианты пошагового прямого выбора (и, следовательно, страдают от зависимости пути)? Точно так же, почему методы General to Specific (GETS) для выбора модели в основном игнорируются, даже если они работают лучше, …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Я прочитал самые популярные книги в области статистического обучения 1- Элементы статистического обучения. 2- Введение в статистическое обучение . Оба упоминают, что у регрессии гребня есть две формулы, которые эквивалентны. Есть ли понятное математическое доказательство этого результата? Я также прошел Cross Validated , но я не могу найти однозначного доказательства …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Существуют ли аналитические результаты или экспериментальные работы относительно оптимального выбора коэффициента штрафного члена . Под оптимальным я подразумеваю параметр, который максимизирует вероятность выбора наилучшей модели или минимизирует ожидаемые потери. Я спрашиваю, потому что часто нецелесообразно выбирать параметр путем перекрестной проверки или начальной загрузки, либо из-за большого количества случаев проблемы, либо …

15 model-selection  lasso  shrinkage 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 3 года назад . Я строю логистическую регрессию в R, используя метод LASSO с функциями cv.glmnetдля выбора lambdaи glmnetдля окончательной модели. Я уже …

15 r  logistic  categorical-data  lasso  glmnet 

β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Мы знаем, что для λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty , оценка Лассо β^λ=0β^λ=0\hat\beta^\lambda = 0 . (См., Например, область настройки параметров Лассо и Риджа .) В других обозначениях это …

14 lasso  regularization 

Я хотел бы создать случайный лес, используя следующий процесс: Построить дерево на случайных выборках данных и объектов, используя прирост информации для определения разбиений Завершить листовой узел, если он превышает предопределенную глубину, ИЛИ любое разделение приведет к тому, что число листьев будет меньше, чем предопределенный минимум Вместо того, чтобы назначать метку …

14 classification  random-forest  lasso  ensemble 

Мое общее понимание состоит в том, что AIC имеет дело с компромиссом между добротностью соответствия модели и сложностью модели. А яС= 2 k - 2 l n ( L )AяСзнак равно2К-2LN(L)AIC =2k -2ln(L) = количество параметров в моделиККk = вероятностьLLL Байесовский информационный критерий BIC тесно связан с AIC. AIC штрафует …

14 cross-validation  lasso  aic  ridge-regression  bic 

Какова асимптотическая временная сложность регрессии Лассо по мере роста числа строк или столбцов?

14 lasso  time-complexity 

Я читаю о выборе лучшего подмножества в книге «Элементы статистического обучения». Если у меня есть 3 предиктора x1,x2,x3x1,x2,x3x_1,x_2,x_3 , я создаю подмножеств:23=823=82^3=8 Подмножество без предикторов подмножество с предикторомx1x1x_1 подмножество с предикторомx2x2x_2 подмножество с предикторомx3x3x_3 подмножество с предикторамиx1,x2x1,x2x_1,x_2 подмножество с предикторамиx1,x3x1,x3x_1,x_3 подмножество с предикторамиx2,x3x2,x3x_2,x_3 подмножество с предикторамиx1,x2,x3x1,x2,x3x_1,x_2,x_3 Затем я проверяю все …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} У нас проблема: при условии, что: \ sum_ {я = 1} ^ nx_ix_i ^ T = \ диаг (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Есть ли в этом случае решение в замкнутой форме? У меня есть это: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), и поэтому …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Одним из мотивов для эластичной сетки было следующее ограничение LASSO: В случае p>np>np > n лассо выбирает не более n переменных, прежде чем оно насыщается, из-за характера задачи выпуклой оптимизации. Кажется, это ограничивающая особенность метода выбора переменных. Более того, лассо не является четко определенным, если только ограничение на L1-норму коэффициентов …

13 regression  optimization  feature-selection  lasso 

Есть несколько математических работ, описывающих байесовское лассо, но я хочу протестировать правильный код JAGS, который я могу использовать. Может ли кто-нибудь опубликовать пример кода BUGS / JAGS, который реализует регуляризованную логистическую регрессию? Любая схема (L1, L2, Elasticnet) была бы отличной, но Лассо предпочтительнее. Мне также интересно, есть ли интересные альтернативные …

13 bayesian  logistic  lasso  jags  regularization 

Таблица 18.1 в Элементах статистического обучения суммирует эффективность нескольких классификаторов в наборе данных 14 классов. Я сравниваю новый алгоритм с лассо и эластичной сеткой для таких задач мультиклассовой классификации. Используя glmnetверсию 1.5.3 (R 2.13.0), я не могу воспроизвести пункт 7. ( многочлен с пенизированным ) в таблице, где количество используемых …

13 classification  lasso  glmnet 

Я хотел бы получить коэффициенты для задачи LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема в том, что функции glmnet и lars дают разные ответы. Для функции glmnet я спрашиваю коэффициенты вместо просто λ , но я все еще получаю разные ответы.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Это ожидается? Какова связь между ларами и glmnet λ ? Я понимаю, …

13 r  machine-learning  regression  lasso  regularization