Вопросы с тегом «elastic-net»

Всегда ли упругая чистая регуляризация всегда предпочтительнее, чем Lasso & Ridge, поскольку она, похоже, решает недостатки этих методов? Что такое интуиция и какая математика стоит за эластичной сеткой?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Как соотносятся методы регуляризации риджа, LASSO и эластикета? Каковы их соответствующие преимущества и недостатки? Любая хорошая техническая статья, или примечания лекции были бы оценены также.

33 references  lasso  regularization  ridge-regression  elastic-net 

Я хотел бы использовать GLM и Elastic Net, чтобы выбрать эти релевантные функции + построить модель линейной регрессии (т. Е. Как прогнозирование, так и понимание, поэтому было бы лучше оставить с относительно небольшим количеством параметров). Выход непрерывный. Это генов на случаев. Я читал об этом пакете, но я не уверен …

29 r  regularization  glmnet  elastic-net  underdetermined 

Я использую функцию auto.arima () в пакете прогноза для подбора моделей ARMAX с различными ковариатами. Тем не менее, у меня часто есть большое количество переменных для выбора, и обычно получается окончательная модель, которая работает с их подмножеством. Мне не нравятся специальные методы для выбора переменных, потому что я человек и …

29 r  time-series  lasso  regularization  elastic-net 

L=1n∥∥y−Xβ∥∥2+λ1∥β∥1+λ2∥β∥22,L=1n‖y−Xβ‖2+λ1‖β‖1+λ2‖β‖22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗=(1+λ2)β^.β^∗=(1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Однако в следующей glmnetстатье Friedman, Hastie & Tibshirani (2010) пути регуляризации для обобщенных линейных моделей с помощью координатного спуска не использовали этот масштаб и использовали только краткую сноску Zou и Hastie (2005) назвали это …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Я понимаю, какую роль играет лямбда в регрессии эластичной сети. И я могу понять, почему можно выбрать lambda.min, значение лямбды, которое минимизирует перекрестную проверку. Мой вопрос: где в статистической литературе рекомендуется использовать lambda.1se, то есть значение lambda, которое минимизирует ошибку CV плюс одну стандартную ошибку ? Кажется, я не могу …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Некоторые штрафные функции и аппроксимации хорошо изучены, такие как LASSO ( L1L1L_1 ) и Ридж ( L2L2L_2 ) и их сравнение в регрессии. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Вэньцзян [ 1 ] сравнил штраф Бриджа, когда с LASSO, но я не смог найти сравнение с регуляризацией Elastic Net, комбинацией …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Вступление: У меня есть набор данных с классической «большой p, маленький n проблема». Количество доступных выборок n = 150, а количество возможных предикторов p = 400. Результат - непрерывная переменная. Я хочу найти самые «важные» дескрипторы, то есть те, которые являются лучшими кандидатами для объяснения результата и помощи в построении …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Я выступаю упругую внутрисетевые логистическую регрессию по набору данных медико - санитарной помощи с использованием glmnetпакета в R путем выбора значения лямбды над сеткой αα\alpha от 0 до 1. Моего сокращенного кода ниже: alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) …

22 machine-learning  cross-validation  glmnet  elastic-net 

Я действительно заинтересован в процедуре эластичной сетки для усадки / выбора предиктора. Это кажется очень мощным. Но с научной точки зрения я не знаю, что делать, когда получу коэффициенты. На какой вопрос я отвечаю? Это те переменные, которые больше всего влияют на этот результат, и это те коэффициенты, которые дают …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Вопрос « Что делать из этого лассо-графика (glmnet)» демонстрирует пути решения для оценки лассо, которые не являются монотонными. То есть некоторые коэффициенты растут по абсолютной величине, а затем сокращаются. Я применил эти модели к нескольким видам наборов данных и никогда не видел такого поведения «в дикой природе», и до сегодняшнего …

18 lasso  ridge-regression  elastic-net 

Я знаю о преимуществах регуляризации при построении прогностических моделей (смещение против дисперсии, предотвращение переоснащения). Но мне интересно, будет ли хорошей идеей также выполнять регуляризацию (лассо, гребень, упругая сеть), когда основной целью регрессионной модели является вывод на коэффициенты (видя, какие предикторы являются статистически значимыми). Я хотел бы услышать мысли людей, а …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Хорошо известно, что линейная регрессия с штрафом эквивалентна нахождению оценки MAP с учетом гауссовского априорного коэффициента. Точно так же использование штрафа l 1 эквивалентно использованию распределения Лапласа в качестве предыдущего.l2l2l^2l1l1l^1 Нередко используют некоторую взвешенную комбинацию регуляризации и l 2 . Можно ли сказать, что это эквивалентно некоторому предварительному распределению по …

17 regression  bayesian  regularization  prior  elastic-net 

Я пытаюсь определить лучшую модель для прогнозирования цен на автомобили, используя цены и функции, доступные на сайтах, рекламируемых автомобилями. Для этого я использовал пару моделей из библиотеки scikit-learn и модели нейронной сети из pybrain и neurolab. Подход, который я использовал до сих пор, состоит в том, чтобы прогонять фиксированный объем …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

У меня есть набор из 150 функций, и многие из них тесно связаны друг с другом. Моя цель - предсказать значение дискретной переменной, диапазон которой составляет 1-8 . Мой размер выборки 550 , и я использую 10-кратную перекрестную проверку. AFAIK, среди методов регуляризации (Lasso, ElasticNet и Ridge), Ridge более строг …

17 regression  lasso  regularization  ridge-regression  elastic-net