Вопросы с тегом «overfitting»

Прежде всего: я знаю, что для обучения нейронной сети нет общего количества выборок. Это зависит от слишком многих факторов, таких как сложность задачи, шум в данных и так далее. И чем больше у меня будет обучающих образцов, тем лучше будет моя сеть. Но мне было интересно: возможно ли теоретически обучить …

12 neural-networks  overfitting  underdetermined 

Я хотел лучше понять точный критерий Фишера, поэтому я разработал следующий пример игрушки, где f и m соответствуют мужской и женской части, а n и y соответствуют «потреблению соды», например: > soda_gender f m n 0 5 y 5 0 Очевидно, это резкое упрощение, но я не хотел, чтобы контекст …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

У меня есть явно бимодальное распределение значений, которое я стараюсь соответствовать. Данные могут хорошо соответствовать либо 2 нормальным функциям (бимодальным), либо 3 нормальным функциям. Кроме того, существует вероятная физическая причина для сопоставления данных с 3. Чем больше параметров введено, тем более идеальным будет соответствие, поскольку при достаточном количестве констант можно …

11 distributions  normal-distribution  model-selection  overfitting 

Сегодня наш профессор заявил в классе, что «переоснащение линейными классификаторами невозможно». Я считаю, что это неправильно, поскольку даже линейные классификаторы могут быть чувствительны к выбросам в обучающем наборе - возьмем, например, машину векторов поддержки с жестким полем: один единственный шумный объект данных может изменить, какая гиперплоскость будет использоваться для разделения …

10 classification  overfitting 

Насколько я видел, мнения об этом, как правило, расходятся. Лучшая практика, безусловно, диктует использование перекрестной проверки (особенно если сравнивать RF с другими алгоритмами в одном наборе данных). С другой стороны, первоначальный источник утверждает, что факт ошибки OOB, рассчитанный во время обучения модели, является достаточным показателем эффективности тестового набора. Даже Тревор …

10 cross-validation  random-forest  overfitting  out-of-sample 

Я читал литературу, которую случайные леса не могут перегонять. Хотя это звучит замечательно, кажется слишком хорошим, чтобы быть правдой. Можно ли для ВЧ переодеться?

10 random-forest  overfitting 

Я понимаю, что мы можем использовать регуляризацию в задаче регрессии наименьших квадратов как w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] и что эта проблема имеет решение в закрытой форме как: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Мы видим, что во 2-м уравнении регуляризация просто добавляет λλ\lambda к диагонали XTXXTX\boldsymbol{X}^T\boldsymbol{X} , что …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Я пытаюсь понять, что такое насыщенная модель. AFAIK это когда у тебя столько функций, сколько наблюдений. Можно ли сказать, что насыщенная модель является частным случаем чрезвычайно переоснащенной модели?

10 overfitting 

Не приводит ли это к переоснащению? Могут ли мои результаты быть более надежными, если я добавлю процедуру «домкрат» или процедуру начальной загрузки как часть анализа?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

У меня есть несколько прогностических моделей, производительность которых я хотел бы протестировать (например, взять мой набор данных, «перемотать» его к предыдущему моменту времени и посмотреть, как модель будет работать перспективно). Проблема в том, что некоторые из моих моделей были созданы с помощью интерактивного процесса. Например, следуя совету в Стратегиях регрессионного …

9 cross-validation  modeling  outliers  splines  overfitting