Использование параметра Gamma с машинами опорных векторов

9

При использовании libsvmпараметр является параметром для функции ядра. Его значение по умолчанию установлено как $\gamma$

γ знак равно \frac{1}{количество функций.}

$\gamma = \frac{1}{\text{number of features.}}$

Существуют ли теоретические рекомендации по настройке этого параметра помимо существующих методов, например, поиск по сетке?

— user3269
источник

8

Я бы предложил следующее теоретическое руководство. При использовании Gaussian RBF ядра, ваша отдаяся поверхность будет основана на сочетании колпаковых поверхностей с центром в каждом векторе поддержки. Ширина каждой колоколообразной поверхности будет обратно пропорциональна . Если эта ширина меньше минимального парного расстояния для ваших данных, у вас, по сути, есть переоснащение. Если эта ширина больше, чем максимальное парное расстояние для ваших данных, все ваши точки попадают в один класс, и у вас тоже не будет хорошей производительности. Таким образом, оптимальная ширина должна быть где-то между этими двумя крайностями. $\gamma$

— Лео
источник

pair-wise distance for your data= простое евклидово расстояние после масштабирования?

— ihadanny

5

Нет, это в основном зависит от данных. Поиск по сетке (по преобразованным по логу гиперпараметрам) - очень хороший метод, если у вас есть только небольшое количество гиперпараметров для настройки, но вы не делаете разрешение сетки слишком точным, или вы, вероятно, перегоните настройку критерий. Для проблем с большим количеством параметров ядра, я считаю, что симплекс-метод Nelder-Mead работает хорошо.

— Дикран Сумчатый
источник

Дикран, спасибо за ответ. Можете ли вы подробнее рассказать о «зависимых от данных»? Какова связь между r и набором данных? Или, другими словами, учитывая набор данных, есть ли способ определить r на основе этих данных?

— user3269

1

По сути, «зависящий от данных» означает, что наилучшие настройки будут варьироваться в зависимости от конкретной структуры данных, и, как правило, нет лучшего способа установить их, чем минимизация ошибки перекрестной проверки. Методы ядра могут действительно помочь с более теоретическим анализом изучения ядра, но, к сожалению, это математически очень сложно.

— Дикран Marsupial