Вопросы с тегом «bias-variance-tradeoff»

Как разные методы перекрестной проверки сравниваются с точки зрения дисперсии модели и смещения? Мой вопрос частично мотивирован этой веткой: Оптимальное количество сгибов в перекрестной проверке с кратным распределением : всегда ли лучший выбор - резюме с пропуском? КKK, Ответ на этот вопрос предполагает, что модели, изученные с помощью перекрестной проверки …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Помимо соображений вычислительной мощности, есть ли основания полагать, что увеличение количества сгибов при перекрестной проверке приводит к лучшему выбору / проверке модели (т. Е. Чем больше сгибов, тем лучше)? Если доводить аргумент до крайности, обязательно ли перекрестная проверка по принципу « один-за-один» обязательно приведет к лучшим моделям, чем перекрестная проверка …

47 cross-validation  bias-variance-tradeoff 

Я читаю главу о компромиссах смещения дисперсии элементов статистического обучения, и у меня есть сомнения в формуле на стр. 29. Пусть данные возникают из такой модели, что где - случайный число с ожидаемым значением и дисперсией . Пусть ожидаемое значение ошибки модели составляет где - это предсказание нашего ученика. Согласно …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Я пытаюсь понять компромисс между отклонением оценки, отношением между отклонением оценки и отклонением модели, а также отношением между дисперсией оценки и дисперсией модели. Я пришел к этим выводам: Мы склонны переписывать данные, когда пренебрегаем смещением оценки, то есть когда мы стремимся минимизировать смещение модели, пренебрегая дисперсией модели (другими словами, мы …

15 regression  variance  bias  bias-variance-tradeoff 

Я читаю о выборе лучшего подмножества в книге «Элементы статистического обучения». Если у меня есть 3 предиктора x1,x2,x3x1,x2,x3x_1,x_2,x_3 , я создаю подмножеств:23=823=82^3=8 Подмножество без предикторов подмножество с предикторомx1x1x_1 подмножество с предикторомx2x2x_2 подмножество с предикторомx3x3x_3 подмножество с предикторамиx1,x2x1,x2x_1,x_2 подмножество с предикторамиx1,x3x1,x3x_1,x_3 подмножество с предикторамиx2,x3x2,x3x_2,x_3 подмножество с предикторамиx1,x2,x3x1,x2,x3x_1,x_2,x_3 Затем я проверяю все …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

В «Элементах статистического обучения» выражение для разложения смещения дисперсии линейной модели дается как где - фактическая целевая функция, - дисперсия случайной ошибки в модели и - линейная оценка функции .F ( х 0 ) σ 2 ε у = F ( х ) + εЕr r ( x0) = σ2ε+ …

9 regression  linear-model  bias-variance-tradeoff 

Я хотел бы классифицировать точки данных как нуждающиеся в более сложной модели или не требующие более сложной модели. Мое текущее мышление состоит в том, чтобы подогнать все данные к простой линейной модели и наблюдать размер остатков, чтобы сделать эту классификацию. Затем я немного прочитал о влиянии смещения и дисперсии на …

9 regression  multiple-regression  residuals  bias-variance-tradeoff