Вопросы с тегом «boosting»

В последнее время я работал над алгоритмами повышения обучаемости, такими как adaboost, ускорение градиента, и я знал тот факт, что наиболее часто используемым слабым учеником являются деревья. Я действительно хочу знать, есть ли некоторые недавние успешные примеры (я имею в виду некоторые статьи или статьи) для использования нейронных сетей в …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Я читал отчет о победившем решении конкурса Kaggle ( Malware Classification ). Отчет можно найти в этом сообщении на форуме . Эта проблема была проблемой классификации (девять классов, метрика - логарифмическая потеря) с 10000 элементами в наборе поездов, 10000 элементов в наборе испытаний. Во время конкурса модели оценивались по сравнению …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли главные компоненты в этой матрице …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Я читал различные (казалось бы) противоречивые утверждения, независимо от того, являются ли AdaBoost (или другие методы повышения) менее или более склонными к переобучению по сравнению с другими методами обучения. Есть ли веские причины верить тому или иному? Если это зависит, от чего это зависит? По каким причинам AdaBoost менее / …

20 machine-learning  boosting 

Я пытаюсь понять, как работает XGBoost. Я уже понимаю, как деревья с градиентным ускорением работают на Python sklearn. Что мне не ясно, так это то, работает ли XGBoost таким же образом, но быстрее, или если между ним и реализацией python есть фундаментальные различия. Когда я читаю эту статью http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Мне …

20 scikit-learn  boosting  gbm  xgboost 

Моя установка следующая: Я следую указаниям в разделе «Прикладное прогнозное моделирование». Таким образом, я отфильтровал взаимосвязанные функции и в итоге получил следующее: 4900 точек данных в тренировочном наборе и 1600 точек данных в тестовом наборе. У меня есть 26 функций, и цель является непрерывной переменной. Я применяю 5-кратную перекрестную проверку …

20 machine-learning  boosting  overfitting 

Пень решений - это дерево решений с одним разделением. Его также можно записать как кусочную функцию. Например, предположим, что xxx является вектором, а x1x1x_1 является первым компонентом xxx , в настройке регрессии может быть принят некоторый пень решения f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ …

19 machine-learning  cart  linear  boosting 

Параметр скорости обучения ( ) в Gradient Boosting сокращает вклад каждой новой базовой модели - обычно мелкого дерева - который добавляется в серию. Было показано, что резко повышается точность набора тестов, что понятно, так как при меньших шагах минимум функции потерь может быть достигнут более точно. ν∈ [ 0 , …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

В учебниках и лекциях на YouTube я много узнал об итерационных моделях, таких как бустинг, но я никогда не видел ничего о получении интервала прогнозирования. Перекрестная проверка используется для следующего: Выбор модели : попробуйте разные модели и выберите ту, которая подходит лучше всего. В случае повышения используйте CV для выбора …

19 cross-validation  boosting  prediction-interval 

Я прочитал статью Александра Никулеску-Мизила и Рича Каруаны « Получение калиброванных вероятностей от повышения » и обсуждение в этой теме. Тем не менее, у меня все еще возникают проблемы с пониманием и реализацией логистики или масштабирования Платта, чтобы откалибровать вывод моего многоклассового повышающего классификатора (осторожное повышение с помощью пней решений). …

19 machine-learning  boosting 

В общем, в проблеме классификации, где цель состоит в том, чтобы точно предсказать членство в классах вне выборки, когда я не должен использовать ансамблевый классификатор? Этот вопрос тесно связан с тем, почему не всегда использовать ансамблевое обучение? , Этот вопрос спрашивает, почему мы не используем ансамбли все время. Я хочу …

17 classification  boosting  ensemble  bagging 

Есть много постов в блогах, видео на YouTube и т. Д. Об идеях создания мешков или повышения деревьев. Мое общее понимание таково, что псевдокод для каждого из них: Bagging: Возьмите N случайных выборок x% выборок и y% функций Установите вашу модель (например, дерево решений) на каждый из N Прогнозировать с …

17 cart  boosting  xgboost  bagging 

Вопрос Я изо всех сил пытаюсь понять, как прогнозирование сохраняется в интервале [0,1][0,1][0,1] при выполнении бинарной классификации с градиентным повышением. Предположим , что мы работаем над бинарной проблемы классификации, и наша целевая функция является потеря журнала, −∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xi))+(1−yi)log⁡(1−Hm(xi))-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i)) где yyy - целевая переменная ∈{0,1}∈{0,1}\in \{0,1\} а …

17 logistic  classification  boosting 

Может ли машина повышения градиента Фридмана достичь лучшей производительности, чем «Случайный лес» Бреймана ? Если да, то в каких условиях или какой набор данных может сделать gbm лучше?

16 machine-learning  data-mining  random-forest  boosting 

Я имею дело с контролируемой проблемой бинарной классификации. Я хотел бы использовать пакет GBM для классификации людей как незараженных / зараженных. У меня в 15 раз больше незараженных, чем у инфицированных. Мне было интересно, страдают ли модели GBM в случае несбалансированных размеров классов? Я не нашел никаких ссылок на этот …

16 r  machine-learning  boosting  unbalanced-classes  gbm