Вопросы с тегом «model-selection»

Существуют ли какие-либо эмпирические исследования, оправдывающие использование единого стандартного правила ошибки в пользу скупости? Очевидно, что это зависит от процесса генерации данных, но все, что анализирует большой массив наборов данных, было бы очень интересно прочитать. «Одно стандартное правило ошибки» применяется при выборе моделей путем перекрестной проверки (или, в более общем …

39 cross-validation  model-selection  regularization 

Я рассчитал AIC и AICc для сравнения двух общих линейных смешанных моделей; AIC положительны с моделью 1, имеющей более низкий AIC, чем модель 2. Однако оба значения AICc являются отрицательными (модель 1 по-прежнему <модель 2). Допустимо ли использовать и сравнивать отрицательные значения AICc?

39 mixed-model  model-selection  aic 

При использовании перекрестной проверки для выбора модели (такой как, например, настройка гиперпараметра) и для оценки производительности лучшей модели следует использовать вложенную перекрестную проверку . Внешний цикл предназначен для оценки производительности модели, а внутренний цикл - для выбора наилучшей модели; модель выбирается на каждом внешнем обучающем наборе (с использованием внутренней петли …

36 cross-validation  model-selection  ridge-regression 

В настоящее время я работаю над созданием модели с использованием множественной линейной регрессии. После того, как я возился с моей моделью, я не уверен, как лучше определить, какие переменные оставить, а какие удалить. Моя модель началась с 10 предикторов для DV. При использовании всех 10 предикторов четыре считались значимыми. Если …

35 regression  multiple-regression  feature-selection  modeling  model-selection 

В CrossValidated существует множество тем на тему выбора модели и перекрестной проверки. Вот несколько из них: Внутренняя и внешняя перекрестная проверка и выбор модели Главный ответ @ DikranMarsupial на выбор функций и перекрестную проверку Однако ответы на эти темы являются довольно общими и в основном освещают проблемы с конкретными подходами …

34 cross-validation  model-selection 

Я видел здесь несколько вопросов о том, что это значит с точки зрения непрофессионала, но они слишком непрофессиональны для моей цели здесь. Я пытаюсь математически понять, что означает оценка AIC. Но в то же время я не хочу строгого доказательства, которое заставило бы меня не видеть более важные моменты. Например, …

34 self-study  model-selection  aic  entropy  information-theory 

Почему процедура перекрестной проверки преодолевает проблему подбора модели?

34 regression  model-selection  cross-validation 

Мне любопытно , повторяемых процедур , которые могут быть использованы , чтобы обнаружить функциональную форму функции , y = f(A, B, C) + error_termгде мой единственный вход множество наблюдений ( y, A, Bи C). Обратите внимание, что функциональная форма fнеизвестна. Рассмотрим следующий набор данных: AA BB CC DD EE FF …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Я понимаю, что такое апостериорное предиктивное распределение , и я читал о апостериорных прогностических проверках , хотя мне пока не ясно, что он делает. Что такое задняя предиктивная проверка? Почему некоторые авторы говорят, что выполнение апостериорных прогностических проверок "использует данные дважды" и не должно использоваться неправильно? (или даже что это …

33 bayesian  model-selection  posterior 

Обычно я использую BIC, так как я понимаю, что он ценит скупость сильнее, чем AIC. Однако сейчас я решил использовать более комплексный подход и хотел бы также использовать AIC. Я знаю, что Raftery (1995) представил хорошие рекомендации для различий BIC: 0-2 - слабое, 2-4 - положительное свидетельство того, что одна …

32 r  model-selection  references  aic  bic 

Просто мысль: Экономные модели всегда были стандартным выбором при выборе модели, но насколько этот подход устарел? Мне любопытно, насколько наша склонность к скупости является пережитком времени абаки и правил скольжения (или, что более серьезно, нетрадиционных компьютеров). Сегодняшние вычислительные мощности позволяют нам создавать все более сложные модели с еще большими возможностями …

31 predictive-models  model-selection  model 

Недавно я натолкнулся на статью, в которой предлагается использовать классификатор k-NN для конкретного набора данных. Авторы использовали все доступные образцы данных, чтобы выполнить перекрестную проверку в k-кратном размере для различных значений k и сообщить результаты перекрестной проверки наилучшей конфигурации гиперпараметра. Насколько мне известно, этот результат является предвзятым, и они должны …

31 cross-validation  references  model-selection  model-evaluation 

Можно ли рассчитать значения AIC или BIC для моделей лассо-регрессии и других регуляризованных моделей, где параметры только частично входят в уравнение. Как определить степени свободы? Я использую R для подбора моделей регрессии Лассо с помощью glmnet()функции из glmnetпакета, и я хотел бы знать, как рассчитать значения AIC и BIC для …

31 r  model-selection  lasso  aic  bic 

Для LASSO (и других процедур выбора модели) важно изменить масштаб предикторов. Общая рекомендация я следую просто использовать 0, 1 среднее стандартное отклонение нормализации для непрерывных переменных. Но что тут делать с чайниками? Например, некоторые прикладные примеры из той же (отличной) летней школы, которую я связал с масштабированием непрерывных переменных, должны …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Как вы выбираете модель из разных моделей, выбранных разными методами (например, выбор вперед или назад)? И что такое экономная модель?

28 regression  model-selection