Вопросы с тегом «lasso»

LASSO и адаптивный LASSO - это разные вещи, верно? (Для меня штрафы выглядят по-другому, но я просто проверяю, что я что-то упускаю.) Когда вы вообще говорите об эластичной сетке, это особый случай LASSO или адаптивный LASSO? Что делает пакет glmnet, если вы выберете alpha = 1? Адаптивный LASSO работает в …

12 lasso  glmnet  elastic-net  oracle 

Я использую "glmnet" для регрессии лассо в GWAS. Некоторые варианты и отдельные лица имеют пропущенные значения, и кажется, что glmnet не может обработать пропущенные значения. Есть ли решение для этого? или есть другой пакет, который может обрабатывать пропущенные значения в регрессии Лассо? Вот мои сценарии. > library(glmnet) > geno6<-read.table("c6sigCnt.geno") > …

12 missing-data  lasso  glmnet 

Для моего текущего исследования я использую метод Лассо через пакет glmnet в R для биномиальной зависимой переменной. В glmnet оптимальная лямбда определяется путем перекрестной проверки, и полученные модели можно сравнивать с различными показателями, например, ошибочной классификацией или отклонением. Мой вопрос: как именно определяется девиация в glmnet? Как рассчитывается? (В соответствующей …

12 cross-validation  lasso  glmnet  deviance  lars 

По ссылкам Книга 1 , Книга 2 и бумага . Было упомянуто, что существует эквивалентность между регуляризованной регрессией (Ridge, LASSO и Elastic Net) и их формулами ограничения. Я также посмотрел на Cross Validated 1 и Cross Validated 2 , но я не вижу четкого ответа, демонстрирующего эту эквивалентность или логику. …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Я использую регрессионную модель с Лассо и Риджем (для прогнозирования дискретной переменной результата в диапазоне от 0 до 5). Перед запуском модели я использую SelectKBestметод, scikit-learnчтобы уменьшить набор функций с 250 до 25 . Без первоначального выбора признаков и Лассо, и Ридж уступают более низким показателям точности [что может быть …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Я пытаюсь сделать выбор модели для некоторых кандидатов-предикторов, используя LASSO с непрерывным результатом. Цель состоит в том, чтобы выбрать оптимальную модель с наилучшими показателями прогнозирования, что обычно может быть выполнено путем перекрестной проверки в K-кратном порядке после получения пути решения параметров настройки из LASSO. Проблема здесь заключается в том, что …

11 cross-validation  survey  lasso  glmnet 

Я пытаюсь выполнить регрессию лассо, которая имеет следующую форму: Минимизируйте вwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Учитывая , мне посоветовали найти оптимальное с помощью квадратичного программирования, которое принимает следующую форму:λλ\lambdawww Минимизируйте в , в зависимости отxxx12x′Qx+c′x12x′Qx+c′x\frac{1}{2} x'Qx + c'xAx≤b.Ax≤b.Ax \le b. Теперь я понимаю, что термин должен быть …

11 regression  lasso  quadratic-form 

Я хотел бы вручную зафиксировать определенный коэффициент, скажем, , затем подогнать коэффициенты ко всем остальным предикторам, сохраняя при этом β 1 = 1,0 в модели.β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Как я могу добиться этого с помощью R? Я бы особенно хотел поработать с LASSO ( glmnet), если это возможно. В качестве альтернативы, как я …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Прочитав главу 3 «Элементы статистического обучения» (Hastie, Tibshrani & Friedman), я подумал, возможно ли реализовать известные методы сжатия, указанные в названии этого вопроса, с учетом ковариационной структуры, т. Е. Минимизировать (возможно, более общее). ) количество ( у⃗ - Хβ⃗ )TВ- 1(у⃗ -Хβ⃗ ) + λ f( β) , ( 1 …

11 lasso  ridge-regression 

Когда я определяю свою лямбду через перекрестную проверку, все коэффициенты становятся равными нулю. Но у меня есть некоторые намеки из литературы, что некоторые из предикторов должны определенно повлиять на результат. Является ли ерундой произвольно выбирать лямбду, чтобы не было столько разреженности, сколько хочется? Я хочу выбрать 10 или около того …

11 lasso 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто в прошлом году . Какие реализации с открытым исходным кодом - на любом языке - существуют там, которые могут вычислять лассо-пути регуляризации для …

11 regression  lasso  regularization 

Если β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , может ли ∥β∗∥2‖β∗‖2\|\beta^*\|_2 увеличиваться при λλ\lambda увеличивается? Я думаю, что это возможно. Хотя ∥β∗∥1‖β∗‖1\|\beta^*\|_1 не увеличивается при увеличении λλ\lambda (мое доказательство ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 может увеличиваться. На рисунке ниже показана возможность. Когда λλ\lambda увеличивается, если β∗β∗\beta^* перемещается (линейно) от PPP к QQQ , то ∥β∗∥2‖β∗‖2\|\beta^*\|_2 увеличивается, а …

11 lasso 

Моя ситуация: небольшой размер выборки: 116 двоичная переменная результата длинный список объясняющих переменных: 44 объясняющие переменные не исходили из головы; их выбор был основан на литературе. В большинстве случаев в выборке и в большинстве переменных отсутствуют значения. Подход к выбору функции выбран: LASSO Пакет R glmnet не позволит мне запустить …

11 r  spss  lasso  data-imputation 

Я пытаюсь обобщить то, что я до сих пор понимал в многомерном анализе наказаний с помощью многомерных наборов данных, и я все еще борюсь за то, чтобы получить правильное определение мягкого порогового определения по сравнению с штрафом Лассо (или ).L1L1L_1 Точнее, я использовал разреженную регрессию PLS для анализа структуры двухблочных …

11 multivariate-analysis  lasso  feature-selection  genetics 

Мое понимание регрессии LASSO заключается в том, что коэффициенты регрессии выбираются для решения проблемы минимизации: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t На практике это делается с использованием множителя Лагранжа, что позволяет решить проблему minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 Какая связь между …

10 optimization  lasso  regularization  lagrange-multipliers