Вопросы с тегом «overfitting»

Я вроде понимаю, что означает «переоснащение», но мне нужна помощь, чтобы найти пример из реальной жизни, который относится к переоснащению.

107 overfitting 

Рассмотрим старую добрую регрессионную проблему с pпp предикторами и размером выборки . Обычная мудрость заключается в том, что оценщик OLS будет более подходящим и, как правило, будет превосходить оценщик регрессии гребня:Стандартно используется перекрестная проверка для нахождения оптимального параметра регуляризации . Здесь я использую 10-кратное резюме. Уточнение уточнения: когда , под …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

У меня есть опыт работы в области компьютерных наук, но я пытаюсь научить себя науке данных, решая проблемы в Интернете. Я работал над этой проблемой последние пару недель (около 900 строк и 10 функций). Сначала я использовал логистическую регрессию, но теперь я переключился на случайные леса. Когда я запускаю свою …

41 random-forest  overfitting 

Идея адаптивного анализа данных заключается в том, что вы меняете свой план анализа данных, когда узнаете о них больше. В случае исследовательского анализа данных (EDA) это, как правило, хорошая идея (вы часто ищете непредвиденные закономерности в данных), но для подтверждающего исследования это широко признается как очень некорректный метод анализа (если …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Я обучаю простую нейронную сеть на наборе данных CIFAR10. Через некоторое время потери валидации начали увеличиваться, а точность валидации также увеличивается. Потери и точность испытаний продолжают улучшаться. Как это возможно? Кажется, что если потери при проверке возрастают, точность должна уменьшаться. PS Есть несколько похожих вопросов, но никто не объяснил, что …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Можно ли переоснастить модель логистической регрессии? Я видел видео, в котором говорилось, что если моя площадь под кривой ROC превышает 95%, то, скорее всего, она будет переопределена, но возможно ли переопределить модель логистической регрессии?

28 logistic  overfitting  regression-strategies 

Я закончил курс по машинному обучению Эндрю Нг около года назад, и сейчас я пишу свои исследования по математике в старших классах по методам логистической регрессии и методам оптимизации производительности. Одним из таких методов является, конечно, регуляризация. Целью регуляризации является предотвращение переоснащения путем расширения функции стоимости, чтобы включить цель простоты …

27 regression  machine-learning  optimization  regularization  overfitting 

Правда ли, что байесовские методы не подходят больше? (Я видел некоторые документы и учебные пособия, делающие это утверждение) Например, если мы применяем гауссовский процесс к MNIST (классификация рукописных цифр), но показываем только одну выборку, будет ли он возвращаться к предыдущему распределению для любых входных данных, отличных от этой одной выборки, …

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

Предположим, что модель имеет 100% точность данных тренировки, но 70% точность данных теста. Правдив ли следующий аргумент в отношении этой модели? Очевидно, что это переоборудованная модель. Точность испытания может быть повышена за счет уменьшения переоснащения. Но эта модель все еще может быть полезной моделью, поскольку она имеет приемлемую точность для …

25 model  accuracy  overfitting 

Предположим, у меня есть набор данных для контролируемой статистической задачи классификации, например, через байесовский классификатор. Этот набор данных состоит из 20 функций, и я хочу свести его к 2 функциям с помощью методов уменьшения размерности, таких как анализ основных компонентов (PCA) и / или линейный дискриминантный анализ (LDA). Оба метода …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Я читал отчет о победившем решении конкурса Kaggle ( Malware Classification ). Отчет можно найти в этом сообщении на форуме . Эта проблема была проблемой классификации (девять классов, метрика - логарифмическая потеря) с 10000 элементами в наборе поездов, 10000 элементов в наборе испытаний. Во время конкурса модели оценивались по сравнению …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Я провел некоторое исследование о переоснащении и подборе снаряжения, и я понял, что именно они есть, но я не могу найти причины. Каковы основные причины переоснащения и недостаточного оснащения? Почему мы сталкиваемся с этими двумя проблемами при обучении модели?

20 machine-learning  dataset  overfitting 

Моя установка следующая: Я следую указаниям в разделе «Прикладное прогнозное моделирование». Таким образом, я отфильтровал взаимосвязанные функции и в итоге получил следующее: 4900 точек данных в тренировочном наборе и 1600 точек данных в тестовом наборе. У меня есть 26 функций, и цель является непрерывной переменной. Я применяю 5-кратную перекрестную проверку …

20 machine-learning  boosting  overfitting 

Регуляризация в регрессии (линейная, логистическая ...) является наиболее популярным способом уменьшения избыточного соответствия. Когда целью является точность прогноза (не объяснение), есть ли хорошие альтернативы регуляризации, особенно подходящие для больших наборов данных (ми / миллиарды наблюдений и миллионы функций)?

19 regression  regularization  overfitting 

Параметр скорости обучения ( ) в Gradient Boosting сокращает вклад каждой новой базовой модели - обычно мелкого дерева - который добавляется в серию. Было показано, что резко повышается точность набора тестов, что понятно, так как при меньших шагах минимум функции потерь может быть достигнут более точно. ν∈ [ 0 , …

19 machine-learning  data-mining  predictive-models  boosting  overfitting