Вопросы с тегом «cross-validation»

AIC и BIC - оба метода оценки соответствия модели, оштрафованные за количество оцениваемых параметров. Насколько я понимаю, BIC штрафует модели за свободные параметры больше, чем AIC. Помимо предпочтений, основанных на строгости критериев, есть ли другие причины отдавать предпочтение AIC, а не BIC или наоборот?

222 modeling  aic  cross-validation  bic  model-selection 

Мне интересно, как выбрать прогностическую модель после выполнения перекрестной проверки по K-кратному критерию. Это может быть неловко сформулировано, поэтому позвольте мне объяснить более подробно: всякий раз, когда я запускаю кросс-проверку K-кратных данных, я использую K подмножеств данных обучения и в конечном итоге получаю K различных моделей. Я хотел бы знать, …

149 cross-validation  model-selection 

Всегда ли полезно тренироваться с полным набором данных после перекрестной проверки ? Другими словами, можно ли тренироваться со всеми образцами в моем наборе данных и не иметь возможности проверить, подходит ли этот конкретный пример ? Некоторые предыстории проблемы: Скажем, у меня есть семейство моделей, параметризованных . Скажем также, что у …

140 machine-learning  cross-validation  model-selection 

Я использую в -кратной перекрестной проверки несколько раз сейчас , чтобы оценить производительность некоторых алгоритмов обучения, но я всегда был озадачен о том , как я должен выбрать значение .КKКKKКK Я часто видел и использовал значение , но мне это кажется совершенно произвольным, и теперь я просто использую по привычке, …

136 machine-learning  classification  cross-validation 

Мне бы хотелось, чтобы ваши мысли о различиях между перекрестной проверкой и начальной загрузкой оценили ошибку прогноза. Работает ли лучше для небольших наборов данных или больших наборов данных?

104 cross-validation  predictive-models  bootstrap 

Как можно использовать вложенную перекрестную проверку для выбора модели ? Из того, что я читаю онлайн, вложенное резюме работает следующим образом: Существует внутренний цикл CV, где мы можем проводить поиск по сетке (например, запустив K-fold для каждой доступной модели, например, комбинацию гиперпараметров / функций) Существует внешняя петля CV, где мы …

92 cross-validation  model-selection 

Как разные методы перекрестной проверки сравниваются с точки зрения дисперсии модели и смещения? Мой вопрос частично мотивирован этой веткой: Оптимальное количество сгибов в перекрестной проверке с кратным распределением : всегда ли лучший выбор - резюме с пропуском? КKK, Ответ на этот вопрос предполагает, что модели, изученные с помощью перекрестной проверки …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Как бы вы описали перекрестную проверку для кого-либо, не имеющего опыта анализа данных?

77 cross-validation 

Недавно я много читал на этом сайте (@Aniko, @Dikran Marsupial, @Erik) и в других местах о проблеме переоснащения, возникающего при перекрестной проверке (Smialowski et al 2010, Биоинформатика, Hastie, Элементы статистического обучения). Предполагается, что любой контролируемый выбор признаков (с использованием корреляции с метками классов), выполненный вне оценки производительности модели с использованием …

76 cross-validation  feature-selection 

Я немного запутался в выборе функций и машинном обучении, и мне было интересно, можете ли вы помочь мне. У меня есть набор данных микрочипов, который классифицируется на две группы и имеет 1000 функций. Моя цель - получить небольшое количество генов (мои особенности) (10-20) в сигнатуре, которую я теоретически смогу применить …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Вопрос: Я хочу быть уверенным в чем-то, является ли использование перекрестной проверки в k-кратном порядке с временными рядами простым или нужно обратить особое внимание перед использованием? Предыстория: я моделирую временной ряд 6 лет (с цепью полумарков) с выборкой данных каждые 5 минут. Чтобы сравнить несколько моделей, я использую 6-кратную перекрестную …

70 time-series  modeling  cross-validation 

Какова подходящая стратегия для разделения набора данных? Я прошу обратную связь на следующий подход ( а не на отдельных параметров , таких как test_sizeили n_iter, но если я X, y, X_train, y_train, X_test, и y_testсоответствующим образом и , если последовательность имеет смысл): (расширяя этот пример из документации scikit-learn) 1. Загрузите …

70 machine-learning  cross-validation  python  scikit-learn 

У меня есть несбалансированные данные класса, и я хочу настроить гиперпараметры усиленного тресса с помощью xgboost. Вопросов Есть ли эквивалент для gridsearchcv или randomsearchcv для xgboost? Если нет, то каков рекомендуемый подход для настройки параметров xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Предположим, у нас есть кто-то, строящий прогностическую модель, но он не обязательно хорошо разбирается в надлежащих статистических или машинных принципах обучения. Может быть, мы помогаем этому человеку, когда он учится, или, возможно, этот человек использует какой-то пакет программного обеспечения, который требует минимальных знаний для использования. Теперь этот человек вполне может …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Здесь и здесь я нашел два вопроса об этой проблеме, но пока нет очевидного ответа или объяснения. Я навязываю ту же проблему, где ошибка проверки меньше, чем ошибка обучения в моей Convolution Neural Network. Что это обозначает?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation