Вопросы с тегом «ridge-regression»

Я - инженер-программист, изучающий машинное обучение, особенно на курсах Эндрю Нг по машинному обучению . Изучая линейную регрессию с регуляризацией , я нашел смущающие термины: Регрессия с регуляризацией L1 или регуляризацией L2 ЛАССО Хребет регрессии Итак, мои вопросы: Является ли регрессия с регуляризацией L1 точно такой же, как LASSO? Является …

33 regression  terminology  lasso  regularization  ridge-regression 

Регуляризация Тихонова и регрессия гребня - термины, часто используемые, как если бы они были идентичны. Можно ли точно указать, в чем разница?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Как соотносятся методы регуляризации риджа, LASSO и эластикета? Каковы их соответствующие преимущества и недостатки? Любая хорошая техническая статья, или примечания лекции были бы оценены также.

33 references  lasso  regularization  ridge-regression  elastic-net 

Примечание: я знаю, что у L1 есть свойство выбора функции. Я пытаюсь понять, какой из них выбрать, когда выбор функции совершенно не имеет значения. Как решить, какую регуляризацию (L1 или L2) использовать? Каковы плюсы и минусы каждой регуляризации L1 / L2? Рекомендовано ли вначале делать выбор объектов с использованием L1, …

30 regression  lasso  regularization  ridge-regression 

Я использую glmnet для расчета оценок регрессии гребня. Я получил некоторые результаты, которые сделали меня подозрительным в том, что glmnet действительно делает то, что я думаю, что делает. Чтобы проверить это, я написал простой R-скрипт, в котором я сравниваю результат регрессии гребня, выполненного execute, и результат в glmnet, разница значительна: …

28 r  ridge-regression  glmnet 

У меня есть несколько вопросов, касающихся штрафа за ребро в контексте наименьших квадратов: βR i Dге= ( λ ID+ X'Икс)- 1Икс'Yβряdгезнак равно(λяD+Икс'Икс)-1Икс'Y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Выражение предполагает, что ковариационная матрица X сжимается в сторону диагональной матрицы, означая, что (при условии, что переменные стандартизируются до процедуры) корреляция между …

25 regression  pca  regularization  ridge-regression 

Поэтому мне был задан вопрос, по каким оценкам центральные меры L1 (т.е. лассо) и L2 (т.е. регрессия гребня). Ответ L1 = медиана и L2 = среднее. Есть ли интуитивные рассуждения об этом? Или это должно быть определено алгебраически? Если да, то как мне это сделать?

24 lasso  regularization  loss-functions  ridge-regression 

Некоторые штрафные функции и аппроксимации хорошо изучены, такие как LASSO ( L1L1L_1 ) и Ридж ( L2L2L_2 ) и их сравнение в регрессии. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Вэньцзян [ 1 ] сравнил штраф Бриджа, когда с LASSO, но я не смог найти сравнение с регуляризацией Elastic Net, комбинацией …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Рассмотрим регрессию гребня с дополнительным ограничением, требующим, чтобы имел единичную сумму квадратов (эквивалентно, единичную дисперсию); при необходимости можно предположить, что имеет единичную сумму квадратов:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Каков предел β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* когда λ→∞λ→∞\lambda\to\infty ? Вот некоторые утверждения, которые я …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Предположим, я пытаюсь оценить большое количество параметров по многомерным данным, используя некие регуляризованные оценки. Регуляризатор вносит некоторую погрешность в оценки, но это все же может быть хорошим компромиссом, потому что уменьшение дисперсии должно более чем компенсировать это. Проблема возникает, когда я хочу оценить доверительные интервалы (например, используя приближение Лапласа или …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Для линейной модели y=β0+xβ+εYзнак равноβ0+Иксβ+εy=\beta_0+x\beta+\varepsilon сжимающий член всегда равен P(β)п(β)P(\beta) . В чем причина того, что мы не уменьшаем смещение (перехват) члена β0β0\beta_0 ? Должны ли мы сократить срок смещения в моделях нейронных сетей?

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Рассмотрим стандартную модель множественной регрессии где , так что нормальность, гомоскедастичность и некоррелированность ошибок сохраняются.Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2яN)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Предположим, что мы выполняем регрессию гребня, добавляя одинаковое небольшое количество ко всем элементам диагонали :ИксXX βR i D G E= [ X'Икс+ к я]- …

21 regression  assumptions  ridge-regression 

Я понял, как регрессия гребня сжимает коэффициенты геометрически к нулю. Более того, я знаю, как доказать это в специальном «ортонормированном случае», но я не совсем понимаю, как это работает в общем случае с помощью «спектральной декомпозиции».

20 regression  multiple-regression  regularization  ridge-regression  svd 

Я использую пакет R, оштрафованный для получения сокращенных оценок коэффициентов для набора данных, где у меня много предикторов и мало известно о том, какие из них важны. После того, как я выбрал параметры настройки L1 и L2 и доволен своими коэффициентами, есть ли статистически обоснованный способ суммирования соответствия модели с …

20 regression  lasso  stepwise-regression  ridge-regression 

Я помню, что где-то в Интернете читал связь между регрессией гребня (с регуляризацией ) и регрессией PCA: при использовании регрессии с с гиперпараметром , если , то регрессия эквивалентна удалению ПК переменная с наименьшим собственным значением.ℓ2ℓ2\ell_2 А , А , → 0ℓ2ℓ2\ell_2λλ\lambdaλ →0λ→0\lambda \to 0 Почему это правда? Это как-то …

19 regression  pca  regularization  ridge-regression