Как узнать, являются ли данные линейно разделимыми?

Данные имеют много функций (например, 100), а количество экземпляров равно 100 000. Данные редки. Я хочу соответствовать данным, используя логистическую регрессию или SVM. Как я узнаю, являются ли объекты линейными или нелинейными, чтобы я мог использовать трюк ядра, если он нелинейный?

Есть несколько способов определить, являются ли данные линейно разделимыми, некоторые из них выделены в этой статье (1). Предполагая два класса в наборе данных, ниже приведены несколько методов, позволяющих определить, являются ли они линейно разделимыми:

1. Линейное программирование: определяет целевую функцию, подвергаемую ограничениям, которые удовлетворяют линейной отделимости. Вы можете найти подробности о реализации здесь .
2. Метод персептрона : персептрон гарантированно сходится, если данные линейно разделимы.
3. Квадратичное программирование: Целевая функция оптимизации квадратичного программирования может быть определена с ограничением, как в SVM.
4. Вычислительная геометрия: если можно найти две непересекающиеся выпуклые оболочки, то данные линейно разделимы

5. Метод кластеризации: если можно найти два кластера с чистотой кластера 100%, используя некоторые методы кластеризации, такие как k-средних, то данные являются линейно разделимыми.

   (1): Элизондо, Д., «Проблема линейной отделимости: некоторые методы тестирования», в Neural Networks, IEEE Transactions on, vol.17, no.2, pp.330-344, March 2006 doi: 10.1109 / TNN. 2005.860871

Я предполагаю, что вы говорите о проблеме классификации 2-х классов. В этом случае есть линия, которая разделяет ваши два класса, и любой классический алгоритм должен быть в состоянии найти его, когда он сходится.

На практике вы должны тренироваться и тестировать одни и те же данные. Если есть такая линия, то вы должны приблизиться к 100% точности или 100% AUC. Если такой линии нет, то обучение и тестирование одних и тех же данных приведут к некоторым ошибкам. Исходя из объема ошибок, стоит или не стоит пытаться использовать нелинейный классификатор.

$$min_{w,b} \space ||w||^2$$ $$s.t \space \forall i, (w'x_{i} + b)y_{i} \ge 1$$

$$min_{s,b} \space s$$ $$s.t \space \forall i, (w'x_{i} + b)y_{i} \ge 1 - s$$ $$s \ge 0$$

Если оптимально $s$поскольку эта проблема равна нулю, мы знаем, что исходные ограничения неравенства могут быть выполнены. Это означает, что наши данные были линейно разделимы в исходном пространстве. Используя отдельный$s_i$ для каждого примера обучения можно указать, какие точки данных вызывают линейную неразделимость.

Вы пробуете логистическую регрессию и видите, как это работает. Если это не сработает, есть бесконечно много ядер, которые вы можете попробовать, и это все еще может не сработать.