Вопросы с тегом «lasso»

В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Если у меня есть проектная матрица , где - число наблюдений измерения , какова сложность решения для с LASSO, без и ? Я думаю, что ответ должен относиться к тому, как масштабируется одна итерация LASSO с этими параметрами, а не к тому, как масштабируется количество итераций (сходимость), если вы не …

10 optimization  lasso  regularization  time-complexity 

Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает технически, путем предотвращения переоснащения путем сокращения параметров, но мне …

10 machine-learning  lasso  regularization 

[Подобный вопрос был задан здесь без ответов] Я подобрал модель логистической регрессии с регуляризацией L1 (логистическая регрессия Лассо), и я хотел бы проверить соответствие значимых коэффициентов и получить их p-значения. Я знаю, что тесты Вальда (например) - это возможность проверить значимость отдельных коэффициентов в полной регрессии без регуляризации, но с …

10 logistic  statistical-significance  regression-coefficients  lasso 

Мне интересно, как правильно подойти к обучению и тестированию модели LASSO с использованием glmnet в R? В частности, мне интересно, как это сделать, если отсутствие внешнего набора тестовых данных требует использования перекрестной проверки (или другого аналогичного подхода) для тестирования моей модели LASSO. Позвольте мне разбить мой сценарий: У меня есть …

10 r  cross-validation  glmnet  lasso 

В моем классе машинного обучения мы узнали о том, как регрессия LASSO очень хороша при выполнении выбора функций, поскольку она использует регуляризацию.L1L1l_1 Мой вопрос: люди обычно используют модель LASSO только для выбора функций (а затем переходят к сбросу этих функций в другую модель машинного обучения), или они обычно используют LASSO …

10 feature-selection  lasso  regression-strategies 

Я получил три уменьшенные модели из оригинальной полной модели, используя выбор вперед устранение в обратном направлении Техника наказания L1 (LASSO) Для моделей, полученных с использованием прямого выбора / обратного исключения, я получил перекрестную валидацию оценки ошибки прогнозирования, используя CVlmпакет, DAAGдоступный в R. Для модели, выбранной через LASSO, я использовал cv.glm. …

10 cross-validation  model-selection  lasso  stepwise-regression 

Я читал эту статью, связанную с эластичной сеткой. Они говорят, что они используют эластичную сеть, потому что, если мы просто используем Лассо, это имеет тенденцию выбирать только один предиктор среди предикатов, которые сильно коррелируют. Но разве это не то, что мы хотим. Я имею в виду, что это избавляет нас …

10 regression  lasso  elastic-net 

Я ищу интуитивно понятный ответ, почему модель GLM LASSO выбирает конкретный предиктор из группы сильно коррелированных и почему это делает иначе, чем выбор лучшего подмножества. Исходя из геометрии LASSO, показанной на рис. 2 в Tibshirani 1996, я считаю, что LASSO выбирает предиктор с большей дисперсией. Теперь предположим, что я использую …

10 feature-selection  lasso 

Я подгоняю линейную модель в R, используя glmnet. Исходная (не регуляризованная) модель была подогнана с использованием lmи не имела постоянного члена (т.е. она была в форме lm(y~0+x1+x2,data)). glmnetберет матрицу предикторов и вектор ответов. Я читал glmnetдокументацию и не могу найти упоминания о постоянном термине. Итак, есть ли способ попросить glmnetфорсировать …

10 r  regression  lasso 

Как выполнить неотрицательную ребристую регрессию? Доступно неотрицательное лассо scikit-learn, но для риджа я не могу навязать неотрицательность бета-версий, и действительно, я получаю отрицательные коэффициенты. Кто-нибудь знает, почему это? Кроме того, могу ли я реализовать ребро с точки зрения регулярных наименьших квадратов? Перенес это на другой вопрос: могу ли я реализовать …

10 regression  lasso  regularization  ridge-regression 

Функция R cv.glm (library: boot) вычисляет предполагаемую K-кратную ошибку прогнозирования перекрестной проверки для обобщенных линейных моделей и возвращает дельту. Имеет ли смысл использовать эту функцию для регрессии лассо (library: glmnet) и, если да, то как ее можно выполнить? Библиотека glmnet использует перекрестную проверку для получения лучшего параметра поворота, но я …

10 r  regression  cross-validation  lasso  glmnet 

Наказанные модели могут использоваться для оценки моделей, в которых количество параметров равно или даже превышает размер выборки. Такая ситуация может возникнуть в лог-линейных моделях больших разреженных таблиц категориальных данных или данных подсчета. В этих настройках часто также желательно или полезно сворачивать таблицы, комбинируя уровни фактора, где эти уровни не различимы …

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

У меня есть набор данных с около 5000 часто коррелированных признаков / ковариат и двоичным ответом. Данные были переданы мне, я не собирал их. Я использую Лассо и повышение градиента для построения моделей. Я использую повторную вложенную перекрестную проверку. Я сообщаю о самых больших (абсолютных) 40 коэффициентах Лассо и 40 …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Я знаю, что общепринятой практикой является стандартизация функций для регрессии гребня и лассо, однако, будет ли когда-либо более практичным нормализовать функции по шкале (0,1) в качестве альтернативы стандартизации z-показателя для этих методов регрессии?

9 normalization  lasso  standardization  ridge-regression