Вопросы с тегом «regularization»

Я хотел бы получить коэффициенты для задачи LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема в том, что функции glmnet и lars дают разные ответы. Для функции glmnet я спрашиваю коэффициенты вместо просто λ , но я все еще получаю разные ответы.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Это ожидается? Какова связь между ларами и glmnet λ ? Я понимаю, …

13 r  machine-learning  regression  lasso  regularization 

Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи также будут оценены. редактировать: так как я разместил вопрос, chl любезно указал …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я прочитал, что группа Лассо используется для выбора переменных и разреженности в группе переменных. Я хочу знать интуицию, стоящую за этим утверждением. Почему группа лассо предпочтительнее лассо? Почему путь решения группы Лассо не является кусочно-линейным?

13 regression  feature-selection  lasso  regularization 

Я хотел бы сравнить модели, выбранные с ребристой, лассо и эластичной сеткой. На рисунке ниже показаны коэффициенты пути, используя все 3 метода: гребень (рис. A, альфа = 0), лассо (рис. B; альфа = 1) и эластичная сетка (рис. C; альфа = 0,5). Оптимальное решение зависит от выбранного значения лямбда, которое …

13 r  multiple-regression  modeling  regularization 

Я использую пакет 'lars' в R со следующим кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Я слышу эти слова все больше и больше, когда изучаю машинное обучение. Фактически, некоторые люди выиграли медаль Филдса, работающую над закономерностями уравнений. Итак, я думаю, что это термин, который переносится от статистической физики / математики к машинному обучению. Естественно, некоторые люди, которых я спросил, просто не могли это интуитивно объяснить. …

12 machine-learning  self-study  terminology  regularization  definition 

Может ли кто-нибудь указать мне направление онлайнового (рекурсивного) алгоритма регуляризации Тихонова (регуляризованных наименьших квадратов)? В автономном режиме я вычисляю β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY используя мой исходный набор данных, где λλλ находится с помощью n-кратной перекрестной проверки. Новое значение yyy можно предсказать для данного xxx используя y=xTβ^y=xTβ^y=x^T\hat\beta . В режиме онлайн я постоянно рисую …

12 regression  machine-learning  least-squares  regularization  online 

Я хотел бы поставить этот вопрос в двух частях. Оба имеют дело с обобщенной линейной моделью, но первый касается выбора модели, а другой - регуляризации. Справочная информация: Я использую модели GLM (линейная, логистическая, гамма-регрессия) как для прогнозирования, так и для описания. Когда я ссылаюсь на « нормальные вещи, которые каждый …

12 regression  model-selection  regularization 

Есть ли хорошие статьи или книги, посвященные использованию координатного спуска для L1 (лассо) и / или упругой регуляризации сети для задач линейной регрессии?

12 regression  references  lasso  regularization  elastic-net 

В сжатом восприятии есть теорема, гарантирующая, что имеет уникальное разреженное решение c (подробности см. В приложении).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Есть ли аналогичная теорема для лассо? Если такая теорема существует, она не только гарантирует стабильность лассо, но и дает лассо …

12 regression  self-study  feature-selection  lasso  regularization 

Я ищу литературу об отрицательной регрессии гребня . Короче говоря, это обобщение линейной регрессии гребня с использованием отрицательного значения в формуле оценки:У положительного случая есть хорошая теория: как функция потерь, как ограничение, как при Байесе до ... но я чувствую себя потерянным с отрицательной версией только с приведенной выше формулой. …

12 regression  regularization  ridge-regression 

Вот пример кода keras, который использует его: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO выберет только одну из них. Кроме того, …

12 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти оптимальный параметр регуляризации (скажем, штраф). Теперь мой вопрос о …

12 lasso  regularization  shrinkage 

Чтобы не допустить перегрузки людей, люди добавляют термин регуляризации (пропорциональный квадрату суммы параметров модели) с параметром регуляризации к функции стоимости линейной регрессии. Является ли этот параметр таким же, как множитель Лагранжа? Так регуляризация такая же, как метод множителя Лагранжа? Или как эти методы связаны? λλλ\lambdaλλ\lambda

12 regression  optimization  regularization