Почему бы не всегда использовать ансамблевое обучение?

Мне кажется, что ансамблевое обучение всегда даст лучшую прогностическую эффективность, чем с одной гипотезой обучения.

Итак, почему бы нам не использовать их все время?

Я думаю, возможно, из-за вычислительных ограничений? (даже тогда мы используем слабые предикторы, поэтому я не знаю).

В целом это не правда, что он всегда будет работать лучше. Существует несколько методов ансамбля, каждый из которых имеет свои преимущества и недостатки. Какой из них использовать, а затем зависит от имеющейся проблемы.

Например, если у вас есть модели с высокой дисперсией (они превышают ваши данные), то вы, вероятно, выиграете от использования упаковки. Если у вас есть предвзятые модели, лучше сочетать их с Boosting. Существуют также разные стратегии формирования ансамблей. Тема слишком широка, чтобы охватить ее одним ответом.

Но моя точка зрения такова: если вы используете неправильный метод ансамбля для своих настроек, вы не добьетесь большего успеха. Например, использование Bagging с предвзятой моделью не поможет.

Кроме того, если вам нужно работать в вероятностной обстановке, ансамблевые методы также могут не работать. Как известно , что Активизации (в его наиболее популярных формах , таких как AdaBoost) обеспечивает плохие оценки вероятности. То есть, если вы хотите иметь модель, которая позволяет вам рассуждать о ваших данных, а не только о классификации, вам лучше использовать графическую модель.