Какие алгоритмы упаковки являются достойными преемниками Random Forest?


14

Я бы сказал, что для повышения алгоритмов они развивались довольно хорошо. В начале 1995 года был представлен AdaBoost, затем через некоторое время это была Gradient Boosting Machine (GBM). Недавно, около 2015 года, был представлен XGBoost, который точен, справляется с переоснащением и стал победителем нескольких соревнований Kaggle. В 2017 году Microsoft представила LightGBM, она предлагает значительно меньшее время обучения по сравнению с XGBoost. Также CatBoost был представлен Яндексом для обработки категориальных функций.

Случайный Лес был введен в начале 2000-х годов, но были ли в нем достойные преемники? Я думаю, что если бы существовал лучший алгоритм упаковки, чем в Random Forest (который может быть легко применен на практике), он привлек бы некоторое внимание в таких местах, как Kaggle. Кроме того, почему бустинг стал более популярной техникой ансамбля, потому что вы можете построить меньше деревьев для оптимального предсказания?


1
AdaBoost был представлен в 1995 году, но это незначительный момент, который не меняет ваш фундаментальный тезис.
jbowman

3
Начиная со случайных лесов, мы также видели введение чрезвычайно рандомизированных деревьев , хотя я на самом деле не знаю каких-либо убедительных доказательств того, что они превосходят случайные леса с какой-либо последовательностью, поэтому они не могут быть «достойными» преемниками ...
Джейк Вестфолл,

1
BART ( arxiv.org/abs/0806.3286 ) - это байесовская модель, которая эволюционировала из байесовской CART с одним деревом и вдохновлена ​​классическими ансамблевыми методами. Это стоит исследовать.
Дзен

повышение стало более популярным, так как оно успешно решает многие проблемы с помощью слабых методов обучения
Рефаэль

Регулярные жадные леса стоит упомянуть (медленные, но некоторые хорошие результаты) и квантильные случайные леса за их крутые побочные эффекты.
Майкл М

Ответы:


3

xgboost, catboost и lightgbm используют некоторые особенности случайного леса (случайная выборка переменных / наблюдений), поэтому я думаю, что они являются преемниками повышения и RF вместе, и получают лучшее из обоих. ;)

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.