Преимущества оптимизации роя частиц по сравнению с байесовской оптимизацией для настройки гиперпараметра?

Существуют современные исследования байесовской оптимизации (1) для настройки гиперпараметров ML. Мотивация здесь заключается в том, что требуется минимальное количество точек данных, чтобы сделать осознанный выбор того, какие точки стоит попробовать (вызовы целевых функций стоят дорого, поэтому делать меньше нужно лучше), потому что обучение модели требует много времени - некоторые скромные - Большие проблемы с SVM, над которыми я работал, могут занять от нескольких минут до нескольких часов.

С другой стороны, Optunity - это реализация роя частиц, предназначенная для решения той же задачи. Я не слишком хорошо знаком с PSO, но кажется, что он должен быть менее эффективным в том смысле, что для оценки поверхности гиперпараметра требуется большее количество пробных точек и, следовательно, оценки объективных функций.

Я упускаю ключевую деталь, которая делает PSO предпочтительным для BO в контексте машинного обучения? Или выбор между ними всегда контекстуален для задачи настройки гиперпараметра?

(1) Шахриари и др. «Извлечение человека из цикла: обзор байесовской оптимизации».

Как ведущий разработчик Optunity, я добавлю свои два цента.

Мы провели обширные тесты, сравнивая Optunity с наиболее популярными байесовскими решателями (например, hyperopt, SMAC, bayesopt) по реальным проблемам, и результаты показывают, что PSO на самом деле не менее эффективен во многих практических случаях. В нашем тесте, который состоит из настройки SVM-классификаторов на различные наборы данных, Optunity на самом деле более эффективен, чем hyperopt и SMAC, но немного менее эффективен, чем BayesOpt. Я хотел бы поделиться результатами здесь, но я собираюсь подождать, пока Optunity, наконец, будет опубликован в JMLR (на рассмотрении уже более года, так что не задерживайте дыхание ...).

Как вы указываете, повышенная эффективность - это обычно используемая точка продажи для байесовской оптимизации, но на практике она удерживает воду только в том случае, если верны предположения лежащих в основе суррогатных моделей, что далеко не тривиально. В наших экспериментах очень простой PSO решатель Optunity часто конкурирует со сложными байесовскими подходами с точки зрения числа оценок функций. Байесовские решатели работают очень хорошо, когда им предоставляют хорошие априорные значения, но с неинформативным априорным подходом практически нет структурных преимуществ перед метаэвристическими методами, такими как PSO, с точки зрения эффективности.

Большой аргумент в пользу PSO заключается в том, что он смущающе параллелен. Байесовскую оптимизацию часто трудно распараллелить из-за ее по своей природе последовательной природы (единственное реальное исключение - реализация hyperopt). Учитывая возможности для распространения, что становится нормой, Optunity быстро берет на себя инициативу в настенные часы, чтобы получить хорошие решения.

Другим ключевым отличием между Optunity и большинством других специализированных библиотек оптимизации гиперпараметров является целевая аудитория: Optunity имеет самый простой интерфейс и нацелен на не обучающихся машинному обучению, в то время как большинству других библиотек требуется некоторое понимание байесовской оптимизации для эффективного использования (т. Е. Они ориентирован на специалистов).

Причина, по которой мы создали библиотеку, заключается в том, что, несмотря на то, что существуют специальные методы оптимизации гиперпараметров, они не имеют практического применения. Большинство людей все еще либо не настраиваются, либо делают это вручную, либо с помощью наивных подходов, таких как сетка или случайный поиск. По нашему мнению, ключевой причиной этого является тот факт, что существующие библиотеки до разработки Optunity были слишком сложны в использовании с точки зрения установки, документации, API и часто ограничивались одной средой.

Ответ зависит от проблемы и не может быть дан без дополнительного контекста. Как правило, ответ будет следующим. Байесовская оптимизация больше подходит для задач малого размера с вычислительным бюджетом, скажем, в 10-100 раз больше переменных. PSO может быть достаточно эффективным для гораздо больших бюджетов, но не является современным в своей нише.