Вопросы с тегом «ridge-regression»

Я слышал, что регрессия гребня может быть получена как среднее значение апостериорного распределения, если адекватно выбран априор. Является ли интуиция тем, что ограничения, установленные ранее для коэффициентов регрессии (например, стандартные нормальные распределения около 0), идентичны / заменяют штраф, установленный для квадрата размера коэффициентов? Должен ли априор быть гауссовым, чтобы эта …

15 bayesian  prior  ridge-regression 

В «Элементах статистического обучения» (2-е изд.), Стр. 63, авторы приводят следующие две формулировки проблемы регрессии гребня: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} и β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβ2j≤t.β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβj2≤t. \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, subject to } \sum_{j=1}^p \beta_j^2 \leq …

15 ridge-regression 

Я прочитал самые популярные книги в области статистического обучения 1- Элементы статистического обучения. 2- Введение в статистическое обучение . Оба упоминают, что у регрессии гребня есть две формулы, которые эквивалентны. Есть ли понятное математическое доказательство этого результата? Я также прошел Cross Validated , но я не могу найти однозначного доказательства …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

При выполнении регрессии гребня, как вы интерпретируете коэффициенты, которые в конечном итоге превышают соответствующие им коэффициенты по методу наименьших квадратов (для определенных значений )? Разве регрессия гребня не должна монотонно сокращать коэффициенты?λλ\lambda В связи с этим, как можно интерпретировать коэффициент, знак которого изменяется во время регрессии гребня (т. Е. Трасса …

14 interpretation  regression-coefficients  ridge-regression 

В регрессии гребня целевая функция, которая должна быть минимизирована: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Можно ли это оптимизировать с помощью метода множителей Лагранжа? Или это прямая дифференциация?

14 regression  regularization  ridge-regression 

Мое общее понимание состоит в том, что AIC имеет дело с компромиссом между добротностью соответствия модели и сложностью модели. А яС= 2 k - 2 l n ( L )AяСзнак равно2К-2LN(L)AIC =2k -2ln(L) = количество параметров в моделиККk = вероятностьLLL Байесовский информационный критерий BIC тесно связан с AIC. AIC штрафует …

14 cross-validation  lasso  aic  ridge-regression  bic 

Я узнаю о регрессии гребня и знаю, что регрессия гребня работает лучше при наличии мультиколлинеарности. Мне интересно, почему это правда? Был бы удовлетворен либо интуитивный, либо математический ответ (оба типа ответов были бы еще более удовлетворительными). Кроме того , я знаю, что β всегда можно получить, но насколько хорошо хребет …

14 multicollinearity  ridge-regression 

Я хочу рассчитать AICc модели регрессии гребня. Проблема в количестве параметров. Для линейной регрессии большинство людей предполагают, что число параметров равно количеству оценочных коэффициентов плюс сигма (дисперсия ошибки). Когда дело доходит до регрессии гребня, я читал, что след матрицы шляп - степень свободы (df) - просто используется как число параметров …

13 regression  aic  ridge-regression  degrees-of-freedom 

Я использую пакет 'lars' в R со следующим кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Я читал, что регрессия гребня может быть достигнута простым добавлением строк данных в исходную матрицу данных, где каждая строка создается с использованием 0 для зависимых переменных и квадратного корня из Кkk или нуля для независимых переменных. Затем добавляется одна дополнительная строка для каждой независимой переменной. Мне было интересно, можно ли …

12 logistic  generalized-linear-model  ridge-regression 

Я ищу литературу об отрицательной регрессии гребня . Короче говоря, это обобщение линейной регрессии гребня с использованием отрицательного значения в формуле оценки:У положительного случая есть хорошая теория: как функция потерь, как ограничение, как при Байесе до ... но я чувствую себя потерянным с отрицательной версией только с приведенной выше формулой. …

12 regression  regularization  ridge-regression 

У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO выберет только одну из них. Кроме того, …

12 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Этот пост следует за этим: Почему оценка гребня становится лучше, чем OLS, добавляя константу к диагонали? Вот мой вопрос: Насколько я знаю, в регуляризации хребта используется (евклидово расстояние). Но почему мы используем квадрат этой нормы? (прямое применение приведет к получению квадратного корня от суммы квадрата бета).ℓ 2ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 Для сравнения, мы …

12 lasso  regularization  ridge-regression 

По ссылкам Книга 1 , Книга 2 и бумага . Было упомянуто, что существует эквивалентность между регуляризованной регрессией (Ridge, LASSO и Elastic Net) и их формулами ограничения. Я также посмотрел на Cross Validated 1 и Cross Validated 2 , но я не вижу четкого ответа, демонстрирующего эту эквивалентность или логику. …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Я использую регрессионную модель с Лассо и Риджем (для прогнозирования дискретной переменной результата в диапазоне от 0 до 5). Перед запуском модели я использую SelectKBestметод, scikit-learnчтобы уменьшить набор функций с 250 до 25 . Без первоначального выбора признаков и Лассо, и Ридж уступают более низким показателям точности [что может быть …

11 regression  predictive-models  feature-selection  lasso  ridge-regression