Вопросы с тегом «out-of-sample»

Предположим, у нас есть кто-то, строящий прогностическую модель, но он не обязательно хорошо разбирается в надлежащих статистических или машинных принципах обучения. Может быть, мы помогаем этому человеку, когда он учится, или, возможно, этот человек использует какой-то пакет программного обеспечения, который требует минимальных знаний для использования. Теперь этот человек вполне может …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Идея адаптивного анализа данных заключается в том, что вы меняете свой план анализа данных, когда узнаете о них больше. В случае исследовательского анализа данных (EDA) это, как правило, хорошая идея (вы часто ищете непредвиденные закономерности в данных), но для подтверждающего исследования это широко признается как очень некорректный метод анализа (если …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Следующий отрывок взят из интервью Швагера «Рынок хедж-фондов Wizzards» (май 2012 года) с постоянно успешным менеджером хедж-фонда Джаффреем Вудриффом: На вопрос: «Каковы некоторые из худших ошибок, которые люди допускают при извлечении данных?»: Многие люди думают, что они в порядке, потому что они используют данные в выборке для обучения и данные …

21 data-mining  curve-fitting  out-of-sample 

Я читал о проверке K-Fold, и я хочу убедиться, что я понимаю, как это работает. Я знаю, что для метода удержания данные делятся на три набора, и набор тестов используется только в самом конце для оценки производительности модели, в то время как набор проверки используется для настройки гиперпараметров и т. …

21 cross-validation  validation  out-of-sample 

Хотя результаты частного тестового набора не могут быть использованы для дальнейшего уточнения модели, не является ли выбор модели из огромного числа моделей, выполняемых на основе результатов частного тестового набора? Не могли бы вы, в результате одного этого процесса, в конечном итоге перейти на частный тестовый набор? Согласно «Псевдоматематике и финансовому …

16 model-selection  overfitting  out-of-sample 

Закрыто . Этот вопрос должен быть более сфокусированным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он был сосредоточен только на одной проблеме, отредактировав этот пост . Закрыто 2 года назад . В настоящее время я слежу за магистерской программой, ориентированной на статистику …

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample 

В моей классной работе по извлечению данных был предложен метод удержания для оценки производительности модели. Однако, когда я взял свой первый класс по линейным моделям, это не было введено как средство проверки или оценки модели. Мои онлайн-исследования также не показывают какого-либо пересечения. Почему метод удержания не используется в классической статистике?

12 regression  validation  model-evaluation  out-of-sample 

Есть ли явная разница между прогнозами в выборке и псевдо прогнозами вне выборки . И то, и другое подразумевается в контексте оценки и сравнения моделей прогнозирования.

12 forecasting  model-comparison  out-of-sample  in-sample 

У меня есть набор данных с 26 функциями и 31000 строк. Это набор данных из 38 предметов. Это для биометрической системы. Поэтому я хочу иметь возможность определять предметы. Чтобы иметь набор для тестирования, я знаю, что должен удалить некоторые значения. Так что лучше делать и почему? (а) оставить 30 предметов …

11 machine-learning  cross-validation  out-of-sample 

Насколько я видел, мнения об этом, как правило, расходятся. Лучшая практика, безусловно, диктует использование перекрестной проверки (особенно если сравнивать RF с другими алгоритмами в одном наборе данных). С другой стороны, первоначальный источник утверждает, что факт ошибки OOB, рассчитанный во время обучения модели, является достаточным показателем эффективности тестового набора. Даже Тревор …

10 cross-validation  random-forest  overfitting  out-of-sample 

У меня есть вопрос, который, я думаю, будет довольно простым для многих пользователей. Я использую модели линейной регрессии для (i) исследования взаимосвязи нескольких объясняющих переменных и моей переменной отклика и (ii) прогнозирования моей переменной отклика с использованием объяснительных переменных. Одна конкретная объясняющая переменная X, по-видимому, существенно влияет на мою переменную …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample 

Я знаю, что это, вероятно, обсуждалось где-то еще, но я не смог найти четкого ответа. Я пытаюсь использовать формулу для расчета вне выборки R 2 модели линейной регрессии, где S S R - это сумма квадратов невязок, а S S T - это общая сумма квадратов. Для тренировочного набора ясно, …

10 regression  machine-learning  r-squared  out-of-sample