Вопросы с тегом «lasso»

Регрессия LASSO сокращает коэффициенты до нуля, тем самым обеспечивая эффективный выбор модели. Я считаю, что в моих данных есть значимые взаимодействия между номинальными и непрерывными ковариатами. Однако не обязательно, чтобы «основные эффекты» истинной модели были значимыми (отличными от нуля). Конечно, я не знаю этого, поскольку истинная модель неизвестна. Мои цели …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Различное программное обеспечение реализации доступно для лассо . Я знаю, что много обсуждали байесовский подход против частого подхода на разных форумах. Мой вопрос очень специфичен для лассо - каковы различия или преимущества ласио Байса против обычного лассо ? Вот два примера реализации в пакете: # just example data set.seed(1233) X …

24 r  machine-learning  linear-model  lasso 

Поэтому мне был задан вопрос, по каким оценкам центральные меры L1 (т.е. лассо) и L2 (т.е. регрессия гребня). Ответ L1 = медиана и L2 = среднее. Есть ли интуитивные рассуждения об этом? Или это должно быть определено алгебраически? Если да, то как мне это сделать?

24 lasso  regularization  loss-functions  ridge-regression 

Некоторые штрафные функции и аппроксимации хорошо изучены, такие как LASSO ( L1L1L_1 ) и Ридж ( L2L2L_2 ) и их сравнение в регрессии. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Вэньцзян [ 1 ] сравнил штраф Бриджа, когда с LASSO, но я не смог найти сравнение с регуляризацией Elastic Net, комбинацией …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Я хочу лучше понять пакеты R Larsи Glmnet, которые используются для решения проблемы Лассо: (для переменных и выборок, см. www.stanford.edu/~hastie/Papers/glmnet.pdf на стр. 3)м я н( β0β) ∈ Rр + 1[ 12 NΣя = 1N( уя- β0- хTяβ)2+ λ | |β| |L1]мяN(β0β)∈рп+1[12NΣязнак равно1N(Yя-β0-ИксяTβ)2+λ||β||L1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]ппpNNN …

22 r  regression  machine-learning  lasso  regularization 

Я провожу небольшой эксперимент с регрессией LASSO в R, чтобы проверить, сможет ли она найти идеальную пару предикторов. Пара определяется следующим образом: f1 + f2 = исход Результатом здесь является предопределенный вектор, называемый «возраст». F1 и f2 создаются путем взятия половины вектора возраста и установки остальных значений в 0, например: …

20 r  regression  feature-selection  lasso  high-dimensional 

Мы все знакомы с хорошо документированным в литературе представлением о том, что оптимизация LASSO (для простоты ограничим здесь случай линейной регрессии) эквивалентно линейной модели с гауссовыми ошибками, в которой параметры задаются перед Лапласом \ exp (- \ lambda \ | \ beta \ | _1). Нам также известно, что старшая …

20 lasso  laplace-distribution 

У меня есть один вопрос, касающийся необходимости использовать методы выбора признаков (значение важности признаков в случайных лесах или методы выбора однофакторных объектов и т. Д.) Перед запуском алгоритма статистического обучения. Мы знаем, что во избежание переобучения мы можем ввести штраф за регуляризацию весовых векторов. Поэтому, если я хочу сделать линейную …

20 regression  machine-learning  feature-selection  lasso  regularization 

Наказанная регрессия L1 (иначе лассо) представлена ​​в двух формулировках. Пусть две целевые функции: Тогда две разные формулировки: подчиняется и, что то же самое, Используя условия Каруша-Куна-Такера (KKT), легко увидеть, как условие стационарности для первой формулировки эквивалентно принятию градиента второй формулировки и установке его равным 0. Что я не могу найти …

20 regression  lasso  penalized 

Я использую пакет R, оштрафованный для получения сокращенных оценок коэффициентов для набора данных, где у меня много предикторов и мало известно о том, какие из них важны. После того, как я выбрал параметры настройки L1 и L2 и доволен своими коэффициентами, есть ли статистически обоснованный способ суммирования соответствия модели с …

20 regression  lasso  stepwise-regression  ridge-regression 

Недавно я обнаружил, что в литературе по прикладной эконометрике, когда речь идет о проблемах выбора признаков, нередко выполняется LASSO с последующей регрессией OLS с использованием выбранных переменных. Мне было интересно, как мы можем квалифицировать обоснованность такой процедуры. Это вызовет проблемы, такие как пропущенные переменные? Какие-либо доказательства того, что это более …

20 regression  feature-selection  econometrics  least-squares  lasso 

Ниже приведен график glmnet с альфа-значением по умолчанию (1, следовательно, лассо) с использованием mtcarsнабора данных в R с использованием mpgв качестве DV и других в качестве переменных-предикторов. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Что мы можем сделать вывод из этого графика относительно различных переменных, особенно am, cylи wt(красные, черные и светло - голубые линий)? …

19 regression  feature-selection  lasso  glmnet 

Я действительно заинтересован в процедуре эластичной сетки для усадки / выбора предиктора. Это кажется очень мощным. Но с научной точки зрения я не знаю, что делать, когда получу коэффициенты. На какой вопрос я отвечаю? Это те переменные, которые больше всего влияют на этот результат, и это те коэффициенты, которые дают …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Пошаговые алгоритмические методы выбора переменных имеют тенденцию выбирать для моделей, которые смещают более или менее каждую оценку в регрессионных моделях ( ββ\beta s и их SE, p-значения , F- статистику и т. Д.), И примерно с такой же вероятностью исключают истинные предикторы, как включают ложные предикторы согласно достаточно зрелой литературе …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Вопрос « Что делать из этого лассо-графика (glmnet)» демонстрирует пути решения для оценки лассо, которые не являются монотонными. То есть некоторые коэффициенты растут по абсолютной величине, а затем сокращаются. Я применил эти модели к нескольким видам наборов данных и никогда не видел такого поведения «в дикой природе», и до сегодняшнего …

18 lasso  ridge-regression  elastic-net