Лучшие пять классификаторов, чтобы попробовать сначала

Помимо очевидных характеристик классификатора, таких как

• вычислительные затраты,
• ожидаемые типы данных функций / меток и
• пригодность для определенных размеров и размеров наборов данных,

Какие пять (или 10, 20?) классификаторов лучше всего опробовать на новом наборе данных, о котором еще мало что известно (например, семантика и корреляция отдельных функций)? Обычно я пробую Наивный Байес, Ближайший сосед, Дерево решений и SVM - хотя у меня нет веских оснований для этого выбора, кроме как я их знаю и в основном понимаю, как они работают.

Я думаю, что следует выбирать классификаторы, которые охватывают наиболее важные общие подходы классификации. Какой выбор вы бы порекомендовали, в соответствии с этим критерием или по любой другой причине?

ОБНОВЛЕНИЕ: альтернативной формулировкой этого вопроса может быть: «Какие общие подходы к классификации существуют и какие конкретные методы охватывают наиболее важные / популярные / перспективные?»

Случайный Лес

Быстрая, надежная, хорошая точность, в большинстве случаев ничего не настраивающая, не требует нормализации, невосприимчива к коллинеарности, генерирует довольно хорошую аппроксимацию ошибок и полезное ранжирование важности как побочный эффект обучения, тривиально параллельный, предсказывает в мгновение ока.

Недостатки: медленнее, чем тривиальные методы, такие как kNN или NB, лучше всего работает с равными классами, худшая точность, чем у SVM, для задач, которые отчаянно требуют трюка с ядром, сложный черный ящик, не делает кофе.

Классификатор гауссовских процессов (без использования приближения Лапласа), предпочтительно с маргинализацией, а не с оптимизацией гиперпараметров. Зачем?

1. потому что они дают вероятностную классификацию
2. Вы можете использовать функцию ядра, которая позволяет вам работать непосредственно с не векторными данными и / или включать экспертные знания
3. они имеют дело с неопределенностью при правильном подборе модели, и вы можете распространить эту неопределенность на весь процесс принятия решений
4. в целом очень хорошие прогностические показатели.

Downsides

1. медленный
2. требует много памяти
3. непрактично для крупномасштабных проблем.

Хотя первым выбором будет регуляризованная логистическая регрессия или регрессия гребня [без выбора признаков] - для большинства задач очень простые алгоритмы работают довольно хорошо и их труднее ошибиться (на практике различия в производительности между алгоритмами меньше, чем различия в производительности между оператором за рулем).

Самостоятельно, когда вы приближаетесь к новому набору данных, вы должны начать следить за всей проблемой. Прежде всего, получите распределение по категориальным признакам, средним и стандартным отклонениям для каждого непрерывного признака. Затем:

• Удалить объекты с более чем X% пропущенных значений;
• Удалите категорические признаки, когда конкретное значение достигает 90-95% относительной частоты;
• Удалить непрерывные объекты с CV = STD / среднее <0,1;
• Получите ранжирование параметров, например, ANOVA для непрерывного и хи-квадрат для категориального;
• Получить значительный набор функций;

Затем я обычно делю методы классификации на 2 набора: метод белого ящика и метод черного ящика. Если вам нужно знать, «как работает классификатор», вы должны выбрать в первом наборе, например, деревья решений или классификаторы на основе правил.

Если вам нужно классифицировать новые записи без построения модели, следует обратить внимание на усердного ученика, например, KNN.

После этого я думаю, что лучше иметь порог между точностью и скоростью: нейронная сеть немного медленнее, чем SVM.

Это моя пятерка лучших техник классификации:

1. Древо решений;
2. Классификаторы на основе правил;
3. СМО (СВМ);
4. Наивный байесовский;
5. Нейронные сети.