Вопросы с тегом «ridge-regression»

Предположим, у меня есть два оценщика и которые являются согласованными оценками одного и того же параметра и такого, что с в смысле psd. Таким образом, асимптотически более эффективен, чем . Эти две оценки основаны на различных функциях потерь. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 …

11 regression  ridge-regression  shrinkage  penalized 

Я применил некоторые данные, чтобы найти лучшее решение переменных регрессионной модели с использованием регрессии гребня в R. Я использовал lm.ridgeи glmnet(когда alpha=0), но результаты сильно отличаются, особенно когда lambda=0. Предполагается, что оба оценщика параметров имеют одинаковые значения. Итак, в чем здесь проблема? наилучшие пожелания

11 r  regression  ridge-regression  glmnet 

Прочитав главу 3 «Элементы статистического обучения» (Hastie, Tibshrani & Friedman), я подумал, возможно ли реализовать известные методы сжатия, указанные в названии этого вопроса, с учетом ковариационной структуры, т. Е. Минимизировать (возможно, более общее). ) количество ( у⃗ - Хβ⃗ )TВ- 1(у⃗ -Хβ⃗ ) + λ f( β) , ( 1 …

11 lasso  ridge-regression 

Пусть A будет матрицей независимых переменных n × pN×пn \times p а B будет соответствующей матрицей зависимых значений . В конька регрессии, определим параметр так , что: . Теперь давайте [usv] = svd (A) и диагональная запись 's'. мы определяем степени свободы (df) = . Ридж-регрессия сжимает коэффициенты компонентов низкой …

11 ridge-regression 

Ридж регрессия может быть выражена как у = ( X ' X + I г ) - 1 X х , где у являюсь прогнозируемым метка, я d в d × d определить матрицу, х объект мы пытаемся найти лейбл для, и х в п × d матрица п объектов …

11 regression  ridge-regression  kernel-trick 

В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Я читал описание регрессии гребня в Прикладных линейных статистических моделях , 5-е издание, глава 11. Регрессия гребня выполняется на основе данных о жировых отложениях, доступных здесь . Учебник соответствует выходным данным в SAS, где обратные преобразованные коэффициенты заданы в модели как: Y=−7.3978+0.5553X1+0.3681X2−0.1917X3Y=−7.3978+0.5553X1+0.3681X2−0.1917X3 Y=-7.3978+0.5553X_1+0.3681X_2-0.1917X_3 Это видно из SAS как: proc reg …

10 r  sas  ridge-regression 

Как выполнить неотрицательную ребристую регрессию? Доступно неотрицательное лассо scikit-learn, но для риджа я не могу навязать неотрицательность бета-версий, и действительно, я получаю отрицательные коэффициенты. Кто-нибудь знает, почему это? Кроме того, могу ли я реализовать ребро с точки зрения регулярных наименьших квадратов? Перенес это на другой вопрос: могу ли я реализовать …

10 regression  lasso  regularization  ridge-regression 

Я понимаю, что мы можем использовать регуляризацию в задаче регрессии наименьших квадратов как w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] и что эта проблема имеет решение в закрытой форме как: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Мы видим, что во 2-м уравнении регуляризация просто добавляет λλ\lambda к диагонали XTXXTX\boldsymbol{X}^T\boldsymbol{X} , что …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Я знаю, что общепринятой практикой является стандартизация функций для регрессии гребня и лассо, однако, будет ли когда-либо более практичным нормализовать функции по шкале (0,1) в качестве альтернативы стандартизации z-показателя для этих методов регрессии?

9 normalization  lasso  standardization  ridge-regression 

Я работаю над перекрестной проверкой прогноза моих данных с 200 субъектами и 1000 переменных. Меня интересует регрессия гребня, поскольку число переменных (которые я хочу использовать) больше, чем количество выборок. Поэтому я хочу использовать оценки усадки. Ниже приведены примеры данных: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) …

9 r  cross-validation  prediction  ridge-regression 

Я работаю над моделью прогнозируемой стоимости, в которой возраст пациента (целое число, измеренное в годах) является одной из переменных предиктора. Сильная нелинейная связь между возрастом и риском пребывания в больнице очевидна: Я рассматриваю сглаженный сплайн сглаживания регрессии для возраста пациента. Согласно «Элементам статистического обучения» (Hastie et al, 2009, p. 151), …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Когда Y= Хβ+ еYзнак равноИксβ+еy = X\beta + e , задача наименьших квадратов, которая накладывает сферическое ограничение на значение может быть записана как для переопределенной системы. \ | \ cdot \ | _2 - евклидова норма вектора.δδ\deltaββ\betaмин ∥ у- Хβ∥22с . т . ∥ β∥22≤ δ2мин⁡ | |Y-Иксβ| |22s,T,⁡ | …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Я новичок в Ридж регрессии. Когда я применил линейную регрессию гребня, я получил следующие результаты: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at …

9 ridge-regression