Какие алгоритмы упаковки являются достойными преемниками Random Forest?

Я бы сказал, что для повышения алгоритмов они развивались довольно хорошо. В начале 1995 года был представлен AdaBoost, затем через некоторое время это была Gradient Boosting Machine (GBM). Недавно, около 2015 года, был представлен XGBoost, который точен, справляется с переоснащением и стал победителем нескольких соревнований Kaggle. В 2017 году Microsoft представила LightGBM, она предлагает значительно меньшее время обучения по сравнению с XGBoost. Также CatBoost был представлен Яндексом для обработки категориальных функций.

Случайный Лес был введен в начале 2000-х годов, но были ли в нем достойные преемники? Я думаю, что если бы существовал лучший алгоритм упаковки, чем в Random Forest (который может быть легко применен на практике), он привлек бы некоторое внимание в таких местах, как Kaggle. Кроме того, почему бустинг стал более популярной техникой ансамбля, потому что вы можете построить меньше деревьев для оптимального предсказания?

random-forest boosting bagging

— Marius
источник

AdaBoost был представлен в 1995 году, но это незначительный момент, который не меняет ваш фундаментальный тезис.

— jbowman

Начиная со случайных лесов, мы также видели введение чрезвычайно рандомизированных деревьев , хотя я на самом деле не знаю каких-либо убедительных доказательств того, что они превосходят случайные леса с какой-либо последовательностью, поэтому они не могут быть «достойными» преемниками ...

— Джейк Вестфолл,

BART ( arxiv.org/abs/0806.3286 ) - это байесовская модель, которая эволюционировала из байесовской CART с одним деревом и вдохновлена классическими ансамблевыми методами. Это стоит исследовать.

— Дзен

повышение стало более популярным, так как оно успешно решает многие проблемы с помощью слабых методов обучения

— Рефаэль

Регулярные жадные леса стоит упомянуть (медленные, но некоторые хорошие результаты) и квантильные случайные леса за их крутые побочные эффекты.

— Майкл М

xgboost, catboost и lightgbm используют некоторые особенности случайного леса (случайная выборка переменных / наблюдений), поэтому я думаю, что они являются преемниками повышения и RF вместе, и получают лучшее из обоих. ;)

— PhilippPro
источник