Приложения MCTS / UCT

MCTS / UCT - это метод поиска по дереву игр, который использует алгоритм бандита для выбора перспективных узлов для исследования. Игры разыгрываются до их завершения случайным образом, и узлы, ведущие к большему количеству побед, исследуются более интенсивно. Алгоритм бандита поддерживает баланс между исследованием узлов с высокими показателями выигрыша и исследованием неизвестных узлов (и в чистом виде не обязательно использует эвристическую функцию оценки). Программы, основанные на этой общей технике, достигли довольно удивительных результатов в компьютерном Go .

Применялись ли бандитские поиски Монте-Карло к другим поисковым задачам? Например, будет ли это полезным подходом для аппроксимации решений MAX-SAT, BKP или других задач комбинаторной оптимизации? Существуют ли какие-либо конкретные характеристики проблемы (структурные / статистические / и т. Д.), Которые позволяют предположить, будет ли эффективен подход в стиле бандитов?

Существуют ли какие-либо известные детерминированные проблемы, которые были бы абсолютно устойчивыми к бандитским методам из-за природы пространства решений?

Это не полный ответ, но некоторые основные замечания о применении этого к MAX-SAT.

$7/8$$x=0$$x=1$$x=0$$x=1$$7/8$$7/8$

$7/8$$NP$$7/8$Эвристика, которую вы используете, даже если вы прекрасно догадались, все еще существуют неудовлетворительные формулы, для которых обратный анализ только сделает вывод, что они неудовлетворительны после экспоненциального множества шагов. Нижние оценки длин доказательств разрешения дают эти результаты. Одна ссылка это:

Павел Пудлак, Рассел Импальяццо: Нижняя граница для алгоритмов DLL для k-SAT (предварительная версия). СОДА 2000: 128-136

Что касается вопроса о том, какие характеристики делают проблему поддающейся бандитским подходам, эта статья описывает поведение UCT в различных областях поиска:

http://www.cs.cornell.edu/~raghu/Raghuram_Ramanujan_files/mcts11.pdf

С уважением, Кэмерон

В этом недавнем обзоре перечислено применение MCTS для решения ряда задач поиска и оптимизации, кроме игр, в разделе 7.8:

http://pubs.doc.ic.ac.uk/survey-mcts-methods/survey-mcts-methods.pdf

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=6145622

Что касается доменов, которые полностью устойчивы к методам, основанным на бандитах, я ничего не знаю об этом. Шахматы - одно явное упущение из литературы MCTS, возможно, из-за «состояний ловушки», которые мешают поиску, но также возможно из-за того, что игроки в компьютерные шахматы просто настолько высоко оптимизированы и хороши в наши дни, что любой новый подход вряд ли сможет сделать вмятина на них.

С уважением, Кэмерон