Я не эксперт по случайным лесам, но я четко понимаю, что ключевая проблема со случайным лесом - это (случайное) генерирование деревьев. Можете ли вы объяснить мне, как создаются деревья? (т.е. что такое используемый дистрибутив для генерации дерева?)
Заранее спасибо !
Ответы:
Реализации РФ отличаются незначительно. Я знаю, что запатентованная реализация Salford Systems должна быть лучше, чем ванильная в R. Описание алгоритма приведено в ESL Фридманом-Хасти-Тибширани, 2-е издание, 3-е издание . Целая глава (15-я) посвящена RF, и я нахожу это на самом деле более ясным, чем оригинальная статья. Алгоритм построения дерева подробно описан на с.588; Мне не нужно воспроизводить это здесь, так как книга доступна онлайн.
Основная идея заключается в процедуре упаковки, а не в том, чтобы деревья были случайными. Подробно каждое дерево построено на выборке объектов, нарисованных с заменой из исходного набора; таким образом, у каждого дерева есть некоторые объекты, которые он не видел, что делает весь ансамбль более разнородным и, следовательно, лучше обобщающим.
Кроме того, деревья ослабляются таким образом, что на каждом разбиении mtryучитываются только M (или ) случайно выбранных атрибутов; M обычно является квадратным корнем числа атрибутов в наборе. Это гарантирует, что деревья меньше перегружены, так как они не обрезаны. Вы можете найти более подробную информацию здесь .
С другой стороны, существует вариант RF под названием Extreme Random Forest, в котором деревья создаются случайным образом (оптимизация разбиений отсутствует) - обратитесь, я думаю, к этой ссылке .