Как перебирать векторы в порядке вероятности в малом пространстве

Рассмотрим мерный вектор v, где v i ∈ { 0 , 1 } . Для каждого i мы знаем p i = P ( v i = 1 ) и допустим, что v i независимы. Используя эти вероятности, существует ли эффективный способ итерации по двоичным n- мерным векторам в порядке от наиболее вероятного к наименее вероятному (с произвольным выбором связей) с использованием пространства, сублинейного в выходном размере? $n$$v$$v_i \in \{0,1\}$$i$$p_i = P(v_i = 1)$$v_i$$n$

Возьмем для примера . Наиболее вероятным вектором является ( 1 , 0 , 1 ), а наименее вероятным - { 0 , 1 , 0 } . $p = \{0.8, 0.3, 0.6\}$$(1,0,1)$$\{0,1,0\}$

Для очень малого мы могли бы обозначить каждый из 2 n векторов с его вероятностью и просто отсортировать, но это, конечно, все равно не использовало бы сублинейное пространство.$n$$2^n$

Близкий вариант этого вопроса ранее задавался по адресу /cs/24123/how-to-iterate-over-vectors-in-order-of-probability .

Далее приведен алгоритм, который использует приблизительно времени и 2 n / 2 пространства.$2^n$$2^{n/2}$

Во-первых, давайте рассмотрим проблему сортировки сумм всех подмножеств элементов.$n$

Рассмотрим эту подзадачу: у вас есть два отсортированных списка длины , и вы хотели бы создать отсортированный список попарных сумм чисел в списках. Вы хотели бы сделать это примерно за O ( м 2 ) времени (выходной размер), но сублинейное пространство. Мы можем достичь O ( м ) пространства. Мы сохраняем приоритетную очередь и извлекаем суммы из приоритетной очереди в порядке возрастания.$m$$O(m^2)$$O(m)$

Пусть списки будут и b 1 … b m , отсортированные по возрастанию. Мы берем m сумм a i + b 1 , i = 1 … m и помещаем их в очередь с приоритетами.$a_1 \ldots a_m$$b_1 \ldots b_m$$m$$a_i + b_1$$i = 1 \ldots m$

Теперь, когда мы вытаскиваем наименьшую оставшуюся сумму из очереди приоритетов, если j < m, мы помещаем сумму a i + b j + 1 в очередь приоритетов. В пространстве преобладает очередь с приоритетами, которая всегда содержит не более m сумм. И время O ( m 2 log m ) , так как мы используем O ( log m ) для каждой приоритетной операции очереди. Это показывает, что мы можем сделать подзадачу в O ( м $a_i + b_j$$j < m$$a_i + b_{j+1}$$m$$O(m^2 \log m)$$O(\log m)$ время и O ( m ) пространство.$O(m^2 \log m)$$O(m)$

Теперь, чтобы отсортировать суммы всех подмножеств из чисел, мы просто используем эту подпрограмму, где список a i является набором сумм подмножеств первой половины элементов, а список b i является набором сумм подмножеств второй половины предметов. Мы можем найти эти списки рекурсивно с помощью того же алгоритма.$n$$a_i$$b_i$

Теперь рассмотрим исходную проблему. Пусть будет набором координат , равным 0 , а S 1 будет набором координат, равным 1 . Тогда Π я ∈ S 0 р ( v я = 0 ) Π я ∈ S 1 р ( v я = 1 $S_0$$0$$S_1$$1$

$$\begin{eqnarray*}\prod_{i \in S_0} p(v_i=0) \prod_{i \in S_1} p(v_i=1) &=& \prod_{1\leq i \leq n} p(v_i=0) \prod_{i \in S_1} \frac{p(v_i=1)}{p(v_i=0)} \\ &=& \prod_{1\leq i \leq n} p(v_i=0) \exp\,\left(\sum_{i \in S_1} \log \frac{p(v_i=1)}{p(v_i = 0)}\right).\end{eqnarray*}$$

Сортировка этих чисел такого же , как сортировка числа , так что мы свели задачу к сортировке суммы подмножеств п элементов.$\sum_{i\in S_1}\log p(v_i=1) - \log p(v_i=0)$$n$

$O(n)$

1. $x \in \{0,1\}^n$$O(n)$$r(x)$$x$$x'$$p(x') > p(x)$$x'\in \{0,1\}^n$$x'$$p(x') > p(x)$$r(x)$$x$
2. $k$$x$$r(x) = k$$O(n)$$x \in \{0,1\}^n$$x$$r(x)$$x$$r(x) = k$
3. $k$$0$$2^n-1$$k$$x$$r(x) =k$

(Мы также должны позаботиться о возможных связях, но это не сложно.)

Изменить: этот ответ неверен. Смотрите комментарии для деталей. ~ gandaliter

$O(2^n)$$O(n)$

1. $(i, p_i)$$\left|0.5 - p_i\right|$

2. $v$$v_i$$1$$p_i > 0.5$$0$$v$$v_i$$v$

3. Вызовите эту рекурсивную функцию в отсортированном списке и пустом векторе.

$0$$1$$0.5$

$O(2^n)$$O(n)$$n$$O(2^n)$$O(n)$$O(2^n)$временные шаги. Поэтому этот алгоритм является оптимальным в худшем случае.