Вопросы с тегом «boosting»

Я немного читал об улучшении алгоритмов для задач классификации и Adaboost в частности. Я понимаю, что цель Adaboost состоит в том, чтобы взять нескольких «слабых учеников» и, через набор итераций по обучающим данным, подтолкнуть классификаторы к тому, чтобы научиться предсказывать классы, в которых модели (ы) постоянно допускают ошибки. Однако мне …

11 machine-learning  classification  algorithms  boosting 

Есть ли способ получить показатель достоверности (мы можем также назвать его значением достоверности или вероятности) для каждого прогнозируемого значения при использовании таких алгоритмов, как Random Forests или Extreme Gradient Boosting (XGBoost)? Допустим, этот показатель доверия будет варьироваться от 0 до 1 и покажет, насколько я уверен в том или ином …

11 r  regression  random-forest  prediction  boosting 

Я хочу реализовать Adaboost с помощью Decision Stump. Правильно ли принимать столько решений, сколько функций нашего набора данных в каждой итерации Adaboost? Например, если у меня есть набор данных с 24 функциями, должен ли я иметь 24 классификатора решения для каждой итерации? Или я должен случайно выбрать некоторые функции и …

11 machine-learning  classification  cart  boosting 

В разделе 7 статьи « Случайные леса» (Брейман, 1999) автор высказывает следующую гипотезу: «Adaboost - это случайный лес». Кто-нибудь доказал или опроверг это? Что было сделано, чтобы доказать или опровергнуть этот пост 1999 года?

10 machine-learning  random-forest  boosting 

Ради простого примера предположим, что есть две модели линейной регрессии Модель 1 имеет три предсказатели, x1a, x2b, иx2c Модель 2 имеет три предиктора из модели 1 и два дополнительных предиктора x2aиx2b Существует уравнение регрессии населения, где объясняется дисперсия населения для Модели 1 и для Модели 2. Инкрементная дисперсия, объясненная Моделью …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Повышение градиентного дерева, предложенное Фридманом, использует деревья решений с Jконечными узлами (= листья) в качестве базовых обучающихся. Есть несколько способов вырастить дерево с точно такими же Jузлами, например, вы можете вырастить дерево в глубину или в ширину ... Есть ли установленный способ, как вырастить деревья с точно Jконечными узлами для …

10 r  cart  boosting 

Я знаю, как реализовать линейную целевую функцию и линейные усиления в XGBoost. Мой конкретный вопрос: когда алгоритм соответствует остаточному (или отрицательному градиенту), использует ли он один элемент на каждом шаге (т.е. одномерную модель) или все признаки (многомерная модель)? Будем благодарны за любые ссылки на документацию о линейных бустах в XGBoost. …

9 regression  machine-learning  boosting  xgboost 

Вопросов: В чем разница (ы) между деревьями регрессионного усиления (BRT) и обобщенными моделями (GBM)? Могут ли они быть взаимозаменяемыми? Является ли одна конкретная форма другой? Почему Риджуэй использовал фразу «Обобщенные модели ускоренной регрессии» (GBM), чтобы описать то, что Фридман ранее предлагал как «Машина повышения градиента» (GBM)? Эти две аббревиатуры идентичны, …

9 machine-learning  boosting  gbm 

В Случайном Лесу каждое дерево растет параллельно на уникальной выборке данных Boostrap. Поскольку ожидается, что каждая выборка бустрапа будет содержать около 63% уникальных наблюдений, это оставляет примерно 37% наблюдений, которые можно использовать для тестирования дерева. Теперь, кажется , что в стохастической Градиент Активизации, существует также оценки похож на тот , …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Я понимаю, что в модели деревьев повышения есть 3 параметра настройки, т.е. количество деревьев (количество итераций) параметр усадки количество разбиений (размер каждого составляющего дерева) У меня вопрос: для каждого из параметров настройки, как мне найти его оптимальное значение? А какой метод? Обратите внимание: параметр усадки и параметр количества деревьев работают …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Предположим, у меня есть одна выборка частот из 4 возможных событий: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 и у меня есть ожидаемые вероятности того, что мои события произойдут: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 С суммой наблюдаемых частот …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom