Gradient Boosting Tree: «чем больше переменная, тем лучше»?

Из руководства по XGBoost я думаю, что когда каждое дерево растет, все переменные сканируются для выбора для разделения узлов, и будет выбрана та, которая имеет максимальное разделение усиления. Поэтому мой вопрос заключается в том, что, если я добавлю некоторые шумовые переменные в набор данных, будут ли эти шумовые переменные влиять на выбор переменных (для каждого растущего дерева)? Моя логика заключается в том, что поскольку эти шумовые переменные НЕ дают максимального разброса усиления, они никогда не будут выбраны, поэтому они не влияют на рост дерева.

Если ответ «да», то правда ли, что «чем больше переменных, тем лучше для XGBoost»? Давайте не будем рассматривать время обучения.

Кроме того, если ответ «да», то верно ли, что «нам не нужно отфильтровывать не важные переменные из модели».

Спасибо!

Моя логика заключается в том, что поскольку эти шумовые переменные НЕ дают максимального разброса усиления, они никогда не будут выбраны, поэтому они не влияют на рост дерева.

Это совершенно правильно только для очень больших, почти бесконечных наборов данных, где количество выборок в вашем обучающем наборе дает хороший охват всех вариаций. На практике, имея достаточное количество измерений, вы в результате получаете много шума выборки, потому что охват возможных примеров тем слабее, чем больше измерений имеют ваши данные.

Шум от слабых переменных, который в итоге случайно коррелирует с целевой переменной, может ограничить эффективность алгоритмов повышения, и это может легче произойти при более глубоких расщеплениях в дереве решений, где оцениваемые данные уже сгруппированы в небольшое подмножество.

Чем больше переменных вы добавляете, тем больше вероятность того, что вы получите слабо коррелированные переменные, которые просто выглядят хорошо для алгоритма разделения для некоторой конкретной комбинации, которая затем создает деревья, которые изучают этот шум вместо намеченного сигнала, и в конечном итоге плохо обобщать.

На практике я обнаружил, что XGBoost достаточно устойчив к шуму в небольших масштабах. Тем не менее, я также обнаружил, что по подобным причинам он иногда выбирает инженерные переменные низкого качества, предпочитая лучше коррелированные данные. Так что это не алгоритм, где «чем больше переменных, тем лучше для XGBoost», и вам нужно заботиться о возможных некачественных функциях.