Когда рандомизация ускоряет алгоритмы, и это «не должно»?

Доказательство Адлеманом того, что $BPP$ содержится в $P/poly$ показывает, что если существует случайный алгоритм для задачи, который выполняется во времени на входах размера , то также существует детерминированный алгоритм для задачи который запускается за время на входах размера [алгоритм запускает рандомизированный алгоритм на независимых строках случайности. Должна быть случайность для повторного алгоритма, который хорош для всехn Θ ( t ( n ) ⋅ n ) n Θ ( n ) 2 $t(n)$$n$$\Theta(t(n)\cdot n)$$n$$\Theta(n)$$2^n$возможные входы. Детерминированный алгоритм является неоднородным - он может вести себя по-разному для разных входных размеров. Таким образом, аргумент Адлемана показывает, что - если не заботиться об однородности - рандомизация может только ускорить алгоритмы с коэффициентом, линейным по размеру входных данных.

На каких конкретных примерах рандомизация ускоряет вычисления (насколько нам известно)?

Одним из примеров является проверка полиномиальной идентичности. Здесь вход представляет собой арифметическую схему n-размера, вычисляющую многочлен m-вариации над полем, и задача состоит в том, чтобы выяснить, является ли многочлен тождественно нулевым. Рандомизированный алгоритм может оценивать полином по случайной точке, в то время как лучший детерминированный алгоритм, который мы знаем (и, возможно, лучший из существующих), оценивает полином по многим точкам.

Другим примером является минимальное остовное дерево, где лучшим рандомизированным алгоритмом Каргера-Кляйна-Тарьяна является линейное время (а вероятность ошибки экспоненциально мала!), В то время как лучший детерминированный алгоритм Шазеля выполняется во времени $O(m\alpha(m,n))$ ( $\alpha$ - обратная функция Аккермана, поэтому ускорение рандомизации действительно мало). Интересно, что Петти и Рамачандран доказали, что если существует неравномерный детерминированный линейный алгоритм времени для минимального остовного дерева, то также существует единый детерминированный линейный алгоритм времени.

Какие еще примеры? Какие примеры вы знаете, где ускорение рандомизации велико, но это возможно только потому, что мы еще не нашли достаточно эффективных детерминированных алгоритмов?

Я не знаю , является ли рандомизация «должен» или «не должен» помочь, однако, целое испытание на простоту может быть сделано во времени с использованием рандомизированы Миллера-Рабина, в то время, насколько я знаю, самый известный детерминированные алгоритмы ~ о ( п 4 ) при условии , GRH (детерминированный Миллера-Рабина) или ~ о ( п 6 ) безусловно (варианты АКС).$\tilde O(n^2)$$\tilde O(n^4)$$\tilde O(n^6)$

Старый пример - вычисление объема. Учитывая многогранник, описываемый оракулом членства, существует рандомизированный алгоритм, работающий за полиномиальное время для оценки его объема с коэффициентом но ни один детерминированный алгоритм не может даже приблизиться безоговорочно .$1+\epsilon$

Первым примером такой рандомизированной стратегии были Дайер, Фриз и Каннан, а результат твердости для детерминированных алгоритмов - Барани и Фюреди. Алистер Синклер имеет хорошие лекционные заметки по этому вопросу .

Я не уверен, что полностью понимаю «и это не должно» часть вопроса, поэтому я не уверен, что это отвечает всем требованиям.

я не знаю, отвечает ли это на ваш вопрос (или хотя бы его часть). Но в реальных примерах, где рандомизация может обеспечить ускорение, речь идет о задачах оптимизации и связи с теоремой об отсутствии бесплатного обеда ( NFL ) .

Есть статья «Возможно, не бесплатный обед, но, по крайней мере, бесплатная закуска», где показано, что использование алгоритмов рандомизации (оптимизации) может иметь лучшую производительность.

Аннотация:

Часто утверждается, что эволюционные алгоритмы превосходят другие методы оптимизации, в частности, в ситуациях, когда о целевой функции, подлежащей оптимизации, известно немного. В отличие от этого Wolpert и Macready (1997) доказали, что все методы оптимизации имеют одинаковое поведение - в среднем по всем где X и $f : X \rightarrow Y$$X$$Y$конечные множества. Этот результат называется «Теорема об отсутствии бесплатного обеда». Здесь представлены разные сценарии оптимизации. Утверждается, что сценарий, на котором основана теорема об отсутствии бесплатного обеда, не моделирует реальную оптимизацию. Для более реалистичных сценариев утверждается, почему методы оптимизации отличаются по своей эффективности. Для небольшого примера это утверждение доказано.

Ссылки:

1. Нет бесплатных теорем об обеде для оптимизации (оригинальная теорема НФЛ для оптимизации)
2. Возможно, не бесплатный обед, но, по крайней мере, бесплатная закуска
3. Безобеденный обед и длина описания (показывает, что результаты НФЛ верны для любого подмножества из набора всех возможных функций, если F замкнуто при перестановке, кубок )$F$$F$
4. О классах функций, для которых верны результаты No Free Lunch (доказано, что доля подмножеств, являющихся чашками , пренебрежимо мала)
5. Два широких класса функций, для которых результат без свободного обеда не выполняется (показывает, что результат NFL не применяется к набору функций, когда длина описания функций достаточно ограничена)
6. Непрерывные обеды бесплатны плюс разработка оптимальных алгоритмов оптимизации (показывает, что для непрерывных областей [официальная версия] НФЛ не выполняется. Эта теорема о бесплатном обеде основана на формализации концепции случайных функций пригодности посредством случайных полей )
7. За пределами бесплатного обеда: реалистичные алгоритмы для произвольных классов задач (показывает, что «.. [a] все нарушения теорем об отсутствии бесплатного обеда могут быть выражены как неоднородное равномерное распределение по подмножествам задач, которые являются кубками »)
8. Метаэвристические алгоритмы на основе роя и теоремы об отсутствии свободного обеда (далее «[..t]», результаты для неревизионных упорядоченных по времени итераций могут быть неверными для случаев повторных пересмотров, поскольку повторные пересмотры нарушают важное предположение чашка, необходимая для доказательства теорем НФЛ (Marshall and Hinton, 2010) ")
9. Нет бесплатного обеда и алгоритмическая случайность
10. Отсутствие бесплатного обеда и тестов (теоретико-множественный подход, который обобщается на критерии, не специфичные для кубка , но при этом отмечается, что (нетривиальные) рандомизированные алгоритмы могут в среднем опережать детерминированные алгоритмы "[...] было продемонстрировано, что вероятность неадекватна для подтверждения неограниченных результатов НФЛ в общем случае. [..] эта статья отказывается от вероятности, отдавая предпочтение теоретико-множественной структуре, которая устраняет теоретико-мерные ограничения, полностью исключая вероятность ")

Резюме о бесплатных обедах (и бесплатных обедах) от David H. Wolpert, Сколько стоит ужин? ( обратите внимание, что теоремы типа НФЛ никогда не указывают фактическую « цену » из-за их типа доказательства)

специально для обобщенной оптимизации (GO):

1. Два пространства и Z . Например, X - это входы, Z - это распределение по выходам.$X$$Z$$X$$Z$

2. Фитнес-функция $f: X \to Z$

3. $m$$f$

   $$d_m = \{d_m(1), d_m(2), ..., d_m(m)\}$$ $\forall t$ $$d_m(t) =\{d^X_m(t),d^Z_m(t)\}$$ $d^Z_m(t)$$f[d^X_m(t)]$

4. $a = \{d_t \to d^X_m(t) : t=0..m\}$

5. $C(f, d_m)$

6. $C(., .)$

$C$$f$$C$$f$$C$$(f, d_m)$$f = f^*$

Наконец, простое (и не очень простое) замечание, почему рандомизация (в той или иной форме) может обеспечить превосходную производительность по сравнению со строго детерминированными алгоритмами.

1. В контексте оптимизации (хотя и не ограничиваясь этим) рандомизированная процедура поиска может в среднем избежать локальных экстремумов лучше, чем детерминированный поиск, и достичь глобальных экстремумов.
2. $2^A$$A$$A$$A$$A$

Наилучшим примером является область, которая в настоящее время считается наилучшими кандидатами на OWF, где, кажется, что каждая популярная OWF, которая готовится, неожиданно имеет рандомизированный субэкспоненциальный алгоритм, в то время как не существует детерминированного субэкспоненциального алгоритма (например, целочисленная факторизация). На самом деле, во многих случаях, вероятно, существует эффективный алгоритм с учетом некоторых советов (криптоанализ).

Если у вас есть алгоритм, использующий рандомизацию, вы всегда можете заменить его детерминированным алгоритмом, использующим псевдослучайные числа: возьмите описание проблемы, вычислите хеш-код, используйте этот хеш-код в качестве начального числа для хорошего генератора псевдослучайных чисел , На практике это действительно то, что может случиться, когда кто-то реализует алгоритм с использованием рандомизации.

Если мы пропустим хеш-код, то разница между этим алгоритмом и алгоритмом, использующим истинную рандомизацию, состоит в том, что я могу предсказать последовательность генерируемых случайных чисел, и я могу создать такую ​​проблему, что предсказанное случайное число, примененное к моей проблеме, всегда будет принять самое худшее решение. Например, для быстрой сортировки с псевдослучайным стержнем я мог бы создать входной массив, в котором псевдослучайный стержень всегда найдет наибольшее возможное значение в массиве. С настоящей случайностью это невозможно.

С помощью хеш-кода мне было бы очень трудно построить проблему, когда псевдослучайные числа приводят к худшим результатам. Я все еще могу предсказать случайные числа, но если я изменю проблему, последовательность псевдослучайных чисел полностью изменится. Тем не менее, было бы почти невозможно доказать, что я не могу построить такую ​​проблему.