Что происходит, когда мы обучаем линейный SVM нелинейно разделяемым данным?

Что происходит, когда мы обучаем базовую опорную векторную машину (линейное ядро и отсутствие мягкого поля) на нелинейно разделимых данных? Задача оптимизации неосуществима, так что возвращает алгоритм минимизации?

machine-learning svm

— SVM
источник

Я думаю, что базовая опорная векторная машина означает жесткую маржу SVM. Итак, давайте рассмотрим:

Что такое Hard-Margin SVM

Короче говоря, мы хотим найти гиперплоскость с наибольшим запасом, которая была бы способна правильно разделить все наблюдения в нашем пространстве обучающей выборки.

Задача оптимизации в жестком марже SVM

Учитывая приведенное выше определение, какую проблему оптимизации мы должны решить?

Самая большая маржа гиперплоскости: мы хотим max(margin)
Уметь правильно разделять все наблюдения: нам нужно оптимизировать, marginа также удовлетворить ограничение: нет ошибок в выборке

Что происходит, когда мы обучаем линейный SVM нелинейно разделяемым данным?

Возвращаясь к вашему вопросу, поскольку вы упомянули, что набор обучающих данных не является линейно разделимым, при использовании SVM с жестким полем без преобразований функций невозможно найти какую-либо гиперплоскость, которая удовлетворяет «Нет ошибок в выборке» .

Обычно мы решаем задачу оптимизации SVM с помощью квадратичного программирования, потому что она может выполнять задачи оптимизации с ограничениями. Если вы используете Gradient Descent или другие алгоритмы оптимизации, которые не удовлетворяют ограничениям SVM с жестким запасом, вы все равно должны получить результат, но это не гиперплоскость SVM с жестким запасом.

Кстати, с нелинейно разделяемыми данными, обычно мы выбираем

жесткие поля SVM + преобразования функций
использовать SVM с мягким полем напрямую (на практике SVM с мягким полем обычно дает хорошие результаты)

— fansia
источник

спасибо за Ваш ответ. Таким образом, пакеты SVM, например, в R или Python, не используют методы квадратичного программирования, когда данные нелинейно разделимы?

— SVM

Не уверен, какие библиотеки SVM вы используете. Я использую libsvm, и разные инструменты SVM могут использовать разные решатели SVM. Чтобы найти лучшие решатели SVM является еще одной темой исследования. QP является основным способом решения SVM.

— Фансия