У меня есть опыт работы в области компьютерных наук, но я пытаюсь научить себя науке данных, решая проблемы в Интернете.

Я работал над этой проблемой последние пару недель (около 900 строк и 10 функций). Сначала я использовал логистическую регрессию, но теперь я переключился на случайные леса. Когда я запускаю свою модель случайного леса на моих тренировочных данных, я получаю действительно высокие значения auc (> 99%). Однако, когда я запускаю ту же модель на тестовых данных, результаты не так хороши (точность около 77%). Это заставляет меня поверить, что я переоцениваю данные тренировок.

Каковы наилучшие методы предотвращения чрезмерной подгонки в случайных лесах?

Я использую r и rstudio в качестве среды разработки. Я использую randomForestпакет и принял значения по умолчанию для всех параметров

Чтобы избежать чрезмерной подгонки в случайном лесу, главное, что вам нужно сделать, - это оптимизировать параметр настройки, который управляет количеством функций, которые выбираются случайным образом, чтобы вырастить каждое дерево из данных начальной загрузки. Как правило, вы делаете это через перекрестную проверку в кратном порядке, где k ∈ { 5 , 10 } , и выбираете параметр настройки, который минимизирует ошибку прогнозирования тестовой выборки. Кроме того, выращивание более крупного леса улучшит прогнозирующую точность, хотя, как правило, доходность уменьшается до нескольких сотен деревьев.$k$$k \in \{5, 10\}$

Как вы получаете 99% AUC от ваших тренировочных данных? Имейте в виду, что есть разница между

predict(model)

а также

predict(model, newdata=train)

при получении прогнозов для учебного набора данных. Первый вариант получает из собственного мешка предсказания от случайного леса. Обычно это то, что вы хотите, сравнивая прогнозные значения с фактическими данными обучения.

Второй обрабатывает ваши тренировочные данные, как если бы это был новый набор данных, и запускает наблюдения по каждому дереву. Это приведет к искусственно тесной корреляции между предсказаниями и фактическими данными, поскольку алгоритм RF обычно не обрезает отдельные деревья, вместо этого полагаясь на ансамбль деревьев для контроля переобучения. Так что не делайте этого, если хотите получить прогнозы на тренировочных данных.

Для деревьев решений есть два способа обработки переоснащения: (а) не вырастить деревья целиком (б) обрезать

То же самое относится к лесу деревьев - не выращивайте их слишком много и обрезайте.

Я не использую randomForestмного, но, насколько мне известно, есть несколько параметров, которые вы можете использовать для настройки ваших лесов:

• nodesize - минимальный размер терминальных узлов
• maxnodes - максимальное количество терминальных узлов
• mtry - количество переменных, используемых для построения каждого дерева (спасибо @ user777)

Вы можете использовать методы перекрестной проверки, такие как K-перекрестная проверка.

вы можете настроить параметры с помощью gridsearch

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

Попробуйте настроить параметр max_depth в диапазонах [5, 15], но не более этого, потому что, если вы берете большую глубину, есть большая вероятность переобучения.