Имитация честного кубика с предвзятым штампом

Учитывая смещенную $N$ стороннюю матрицу, как можно случайное число в диапазоне $[1,N]$равномерно генерировать N ] ? Распределение вероятностей граней матрицы неизвестно, все, что известно, это то, что каждая грань имеет ненулевую вероятность и что распределение вероятности одинаково для всех бросков (в частности, броски независимы). Это очевидное обобщениесправедливых результатов с несправедливой смертью.

Если выразить это в терминах информатики, у нас есть оракул, представляющий броски кубика: $D : \mathbb{N} \to [1,N]$ такой, что $p_i = P(D(k)=i)$ равен нулю и не зависит от $k$ . Мы ищем детерминированный алгоритм $A$ который параметризован $D$ (т. Е. $A$ может вызывать $D$ ) так, чтобы $P(A()=i) = 1/N$ . Алгоритм должен завершаться с вероятностью 1, то есть вероятность того, что $A$ делает больше, чем $n$ вызовов $D$ должна сходиться к $0$ при $n\to\infty$ .

Для $N=2$ (имитировать честную монету из подбрасывания монеты пристрастной монетой) существует хорошо известный алгоритм:

• Повторяйте «дважды», пока два броска не приведут к определенным результатам ((головы, хвосты) или (хвосты, головы)). Другими словами, цикл для $k = 0..\infty$ до тех пор, пока $D(2k+1) \ne D(2k)$
• Вернуть 0, если последняя пара бросков была (головы, хвосты) и 1, если это было (хвосты, головы). Другими словами, вернуть $D(2k)$ где$k$ - индекс, при котором цикл был завершен.

Упрощенный способ сделать беспристрастный кристалл из предвзятого состоит в том, чтобы использовать метод смещения монеты с переворотом, чтобы построить честную монету и построить честный кристалл с выборкой отклонения, как в Unbiasing of sequence . Но является ли это оптимальным (для общих значений распределения вероятностей)?

В частности, мой вопрос: что такое алгоритм, который требует наименьшее ожидаемое количество обращений к оракулу ? Если набор достижимых ожидаемых значений открыт, какова нижняя граница и что представляет собой класс алгоритмов, сходящихся к этой нижней границе?

В случае, если разные семейства алгоритмов оптимальны для разных распределений вероятности, давайте сосредоточимся на почти честных кубиках: я ищу алгоритм или семейство алгоритмов, оптимальных для распределений, таких что $\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$ для некоторых $\epsilon \gt 0$ .

Следующая статья отвечает на близкий вариант этого вопроса: Эффективное построение несмещенной случайной последовательности, Элиас, 1972 .

Похоже, возникает следующий вопрос: получив доступ к этому смещенному независимому источнику, выведите последовательность случайных чисел в (обратите внимание на отличие от вашего вопроса, в котором запрашивается только один выходной символ). По мере того, как длина желаемого результата уходит в бесконечность, «эффективность» схемы в статье (которая выглядит как естественное обобщение фон Неймана) становится равной 1 , что означает, я полагаю, что вход с энтропией h преобразуется в выход энтропии приближается к $[1,N]$$1$$h$$h$ .

Вопрос выглядит гораздо лучше, когда он формулируется таким образом, а не запрашивает одну выходную цифру, потому что, например, если мы рисуем выборок и в результате получаем вывод с большим количеством информации (например, все N входных символов различны) затем мы можем использовать всю эту информацию для получения множества выходных символов, тогда как при заданном здесь вопросе любая информация, помимо той, которая использовалась для получения одного выходного символа, теряется.$N$$N$

Я полагаю, что схема многократно берет отрисовок, просматривает последовательность и отображает в ней некоторые выходные данные или пустую строку. Возможно, есть способ улучшить схему вашего вопроса, посмотрев на префиксы и остановившись, если у нас «достаточно» информации для вывода символа? Я не знаю.$N$

Метод, который вы описываете для обобщает. Мы используем, что все перестановки [ 1 .. N ] одинаково вероятны даже с смещенным кристаллом (так как броски независимы). Следовательно, мы можем продолжать вращаться, пока не увидим такую ​​перестановку, как последние N бросков, и вывести последний бросок.$N=2$$[1..N]$$N$

Общий анализ сложен; однако ясно, что ожидаемое число бросков быстро возрастает в так как вероятность увидеть перестановку на любом данном шаге мала (и не зависит от шагов до и после, а значит, хитрая). Это является большим , чем 0 при фиксированном N , однако, поэтому процедура завершается почти наверняка (то есть с вероятностью 1 ).$N$$0$$N$$1$

Для фиксированного мы можем построить цепь Маркова на множестве векторов Париха, сумма которых равна ≤ N , суммируя результаты последних N бросков, и определить ожидаемое количество шагов, пока мы не достигнем ( 1 , … , 1 ) для первый раз . Этого достаточно, поскольку все перестановки, имеющие общий вектор Париха, одинаково вероятны; таким образом цепочки и вычисления проще.$N$$\leq N$$N$$(1,\dots,1)$

Предположу , что мы в состоянии с Й п я = 1 V я ≤ N . Тогда вероятность получения элемента i (т. Е. Следующий бросок равен i ) всегда определяется как$v=(v_1,\dots,v_N)$$\sum_{i=1}^n v_i \leq N$$i$$i$

.$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$

С другой стороны, вероятность удаления элемента из истории определяется выражением$i$

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

всякий раз , когда (и 0 в противном случае) именно потому , что все перестановки с Парих вектора V с равной вероятностью. Эти вероятности независимы (так как броски независимы), поэтому мы можем вычислить вероятности перехода следующим образом:$\sum_{i=1}^n v_i = N$$0$$v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

все остальные вероятности перехода равны нулю. Единственное поглощающее состояние - это , вектор Париха всех перестановок из [ 1 ... N ] .$(1,\dots,1)$$[1..N]$

Для полученная цепь Маркова ¹ имеет вид$N=2$

^{[ источник ]}

с ожидаемым количеством шагов до поглощения

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

используя для упрощения, что . Если сейчас, как и предполагалось, р 0 = $p_1=1-p_0$для некоторогоϵ∈[0,$p_0 = \frac{1}{2} \pm \epsilon$, то$\epsilon \in [0,\frac{1}{2})$

.$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

Для и равномерных распределений (лучший случай) я выполнил вычисления с помощью компьютерной алгебры²; поскольку пространство состояний быстро взрывается, большие значения трудно оценить. Результаты (округленные в большую сторону)$N \leq 6$

^{Сюжеты показывают как функция N ; слева регулярный, а справа логарифмический график.$\mathbb{E}\,\text{steps}$$N$}

Рост кажется экспоненциальным, но значения слишком малы, чтобы давать хорошие оценки.

Что касается устойчивости к возмущениям мы можем взглянуть на ситуацию для N = 3 :$p_i$$N=3$

^{Сюжет показывает в зависимости от p 0 и p 1 ; естественно, p 2 = 1 - p 0 - p 1 .$\mathbb{E}\,\text{steps}$$p_0$$p_1$$p_2 = 1 - p_0 - p_1$}

Предполагая, что аналогичные изображения для большего (ядро дает сбой при вычислении символических результатов даже для N = 4 ), ожидаемое количество шагов кажется достаточно стабильным для всех, кроме самых экстремальных вариантов (почти все или нет массы при некотором значении p i ).$N$$N=4$$p_i$

Для сравнения, имитация монеты с смещением (например, путем присвоения результатов кубика 0 и 1 как можно более равномерно), использование этого для симуляции монеты и, наконец, выборка побитовых отбраковок требует максимум$\epsilon$$0$$1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

кубики в ожидании - вы должны придерживаться этого.

1. Поскольку цепочка поглощает в края, на которые намекается серый цвет, никогда не пересекаются и не влияют на вычисления. Я включаю их только для полноты и наглядности.$(11)$
2. Реализация в Mathematica 10 ( Записная книжка , Голый Источник ); извините, это то, что я знаю для такого рода проблем.

Просто быстрый комментарий по делу . Возьмите какое-нибудь большое число m и образец m бросков матрицы. Если у вас есть k голов, вы можете извлечь журнал ($N = 2$$m$$m$$k$$\log \binom{m}{k}$$p$

$N$$H(\vec{p})$. These algorithms are only optimal in the limit, and there might be algorithms reaching the limit faster than these. In fact, I neglected to compute the speed of convergence - it might be an interesting exercise.

I would hazard the following answer.

The specific case of 2 you mentioned above is the specific case of expanding $(p + q)^2$ (where $p$ is prob of head and $q$ prob of tail) which gives you a term $2pq$ This means you can get $pq$ for one case and $qp$ for the other case. You will need to repeat sampling until you see either $pq$ or $qp$ (head-tail or tail-head) Using them as simulation, you will give equal probability.

When $N=3$ you have the expansion $(p + q + r)^3$ which gives you the term $pqr$. In this case, you do the same thing, sampling until you see all 3 outcomes $q$, $p$, $r$ in some order in 3 consecutive trials.

The same thing apply for the general case. Thinking carefully, I have to say the case of 2 is the best case where one can work things out in the expansion. When $N=3$ there are 6 different sequences for $pqr$ and there are many other terms in the expansion. I would feel quite uncomfortable with other terms where there are many more outcomes.

.

Extra:

This makes me think about the idea of simply sampling a lot to estimate the probability of each outcome of the dice. In this simplest case of one layer model with no hidden layer (a known model), we can work out a bound to conclude that the estimation converges quickly. In fact Chernoff bound shows us that the error goes down exponentially as sampling increases (linearly).

Now that a good estimation of the probabilities for each side of the dice is known, there are many options. One option is that we can do the expansion above again, but this time we can potentially use many other terms in the expansion that have the same value as $\prod_{i=1}^{i=n} p_i$ (or any term that you use as based sequence). This will be a bit more efficient because more terms in the expansion will be used. But I admit I don't know if this will result in the smallest number of calls to the oracle to have a guarantee on whatever preconditions (such as confidence parameter), if they are given.

Nevertheless, this approach is an answer to different flavor of the question. The question asks for guaranteed perfect unbiased-ness at the cost of potentially large sampling (though low prob). This approach only uses finite sampling with bound on confidence parameter. So I don't think this approach is appropriate to this question even though it is very interesting.