Является ли переоснащение настолько плохим, что вы не должны выбирать модель, которая переоснащается, даже если ошибка теста меньше? Нет. Но у тебя должно быть оправдание выбора.
Это поведение не ограничено XGBoost. Это общая нить среди всех методов машинного обучения; нахождение правильного компромисса между недостаточным оснащением и дополнительным оснащением. Формальное определение - компромисс между отклонениями (Википедия) .
Компромисс смещения дисперсии
Ниже приведено упрощение компромисса между отклонениями, чтобы помочь в выборе модели.
Мы говорим, что модель имеет высокий уклон, если она не в состоянии полностью использовать информацию в данных. Он слишком зависит от общей информации, такой как наиболее частый случай, среднее значение ответа или несколько мощных функций. Смещение может происходить из неправильных предположений, например, если предположить, что переменные являются нормально распределенными или что модель является линейной.
Мы говорим, что модель имеет высокую дисперсию, если она использует слишком много информации из данных. Он опирается на информацию, имеющую отношение только к представленному ему обучающему набору, который недостаточно обобщен. Как правило, модель сильно изменится, если вы измените тренировочный набор, отсюда и название «высокая дисперсия».
Эти определения очень похожи на определения подгонки и подгонки. Однако эти определения часто слишком упрощены, чтобы быть противоположными, как в
- Модель не подходит, если и ошибки обучения и теста высоки. Это означает, что модель слишком проста.
- Модель переоснащается, если ошибка теста выше, чем ошибка обучения. Это означает, что модель слишком сложна.
Эти упрощения, конечно, полезны, так как они помогают выбрать правильную сложность модели. Но они упускают из виду важный момент, тот факт, что (почти) каждая модель имеет как смещение, так и компонент дисперсии. Описание подгонки / переоснащения говорит вам, что у вас слишком много смещения / слишком много отклонений, но у вас (почти) всегда есть оба .
Если вы хотите получить больше информации о компромиссе между отклонениями, они очень полезны для визуализации и хороших ресурсов, доступных через Google. Каждый учебник по машинному обучению будет иметь раздел, посвященный компромиссу с отклонениями, вот несколько
- Введение в статистическое обучение и Элементы статистического обучения (доступно здесь) .
- Распознавание образов и машинное обучение, Кристофер Бишоп.
- Машинное обучение: вероятностная перспектива, Кевин Мерфи.
Кроме того, хороший пост в блоге, который помог мне понять это Скотт Фортманн-Роу « Понимание компромисса смещения» .
Приложение к вашей проблеме
Итак, у вас есть две модели,
МАРСXGBoostПоезд МАЭ∼ 4.0∼ 0,3Тест МАЭ∼ 4.0∼ 2.4Низкая дисперсия, более высокий уклон ,Более высокая дисперсия, более низкий уклон ,
и вам нужно выбрать один. Для этого вам нужно определить, какая модель лучше. Параметры, которые должны быть включены в ваши решения, - это сложность и производительность модели.
- Сколько «единиц» сложности вы готовы обменять на одну «единицу» производительности?
- Большая сложность связана с большей дисперсией. Если вы хотите, чтобы ваша модель хорошо обобщала набор данных, который немного отличается от того, на котором вы тренировались, вам следует стремиться к меньшей сложности.
- Если вам нужна модель, которую вы можете легко понять, вы можете сделать это за счет производительности, уменьшив сложность модели.
- Если вы стремитесь к наилучшей производительности в наборе данных, который, как вы знаете, происходит из того же процесса генерации, что и учебный набор, вы можете манипулировать сложностью, чтобы оптимизировать тестовую ошибку и использовать ее в качестве показателя. Это происходит, когда ваш тренировочный набор случайным образом выбирается из большего набора, и ваша модель будет применена к этому набору. Например, в большинстве соревнований Kaggle.
Цель здесь не в том, чтобы найти модель, которая "не подходит". Это найти модель, которая имеет лучший компромисс дисперсии. В этом случае я бы сказал, что уменьшение смещения, достигаемое моделью XGBoost, достаточно хорошо, чтобы оправдать увеличение дисперсии.
Что ты можешь сделать
Тем не менее, вы, вероятно, можете добиться большего успеха, настроив гиперпараметры.
Увеличение количества раундов и снижение скорости обучения является возможным. Что-то «странное» в повышении градиента состоит в том, что его прохождение до точки, когда ошибка обучения достигла нуля, по-видимому, все же улучшает ошибку теста (как обсуждалось здесь: « Чем глубже лучше, только когда хорош мелкий?» ). Вы можете попытаться обучить вашу модель немного дольше в вашем наборе данных, как только вы установили другие параметры,
1 / 214, Это может быть жаргоном, но если ваши объекты имеют степень взаимодействия 3 (грубо говоря: комбинация из 4 функций не является более мощной, чем комбинация 3 из этих функций + четвертая), то растущие деревья размером больше 3 - это пагубный. Два дерева глубины три будут обладать большей степенью обобщения, чем одно дерево глубины четыре. Это довольно сложная концепция, и я не буду вдаваться в нее сейчас, но вы можете проверить этот сборник документов для начала. Также обратите внимание, что глубокие деревья приводят к высокой дисперсии!
Использование подвыборки, известной как пакетирование , отлично подходит для уменьшения дисперсии. Если ваши отдельные деревья имеют высокую дисперсию, то суммирование будет усреднять деревья, а среднее будет иметь меньшую дисперсию, чем отдельные деревья. Если после настройки глубины деревьев вы по-прежнему сталкиваетесь с высокой дисперсией, попробуйте увеличить подвыборку (то есть уменьшить долю используемых данных). Сэмплирование пространства признаков также достигает этой цели.