Как создать нецелое количество последовательных успехов Бернулли?

18

Данный:

Монета с неизвестным уклоном $p$ (голова).
Строго положительная вещественная $a > 0$ .

Проблема:

Генерация случайной переменной Бернулли со смещением $p^{a}$ .

Кто-нибудь знает как это сделать? Например, когда $a$ - положительное целое число, можно $a$ раз перевернуть монету и посмотреть, все ли результаты были Головами: если они тогда выдают «0», в противном случае выдают «1». Трудность заключается в том, что $a$ не обязательно является целым числом. Кроме того, если бы я знал смещение $p$ , я мог бы просто построить другую монету с желаемым смещением.

sampling

— Педро А. Ортега
источник

2

@gung: Я думаю, что нужен алгоритм генерации вариации Бернулли с учетом монеты.

— Нил Г

1

Я думаю , что дело здесь, когда

вы только держать в среднем 1 из каждых

голову , что выскакивает и при

, то дублируют каждой из головок в среднем на

раз.

a > 1

$a>1$

a

$a$

a < 1

$a < 1$

1 / a

$1/a$

— Макро

3

@ Макро, не могли бы вы расширить эту идею?

— Педро А. Ортега

1

Дорогой Педро, (+1) за ваш пост, и именно этот вопрос делает резюме очень бодрящим и стимулирующим, по крайней мере для меня. Могу я спросить, каков источник этого вопроса?

— кардинал

@cardinal: Еще раз спасибо за ваш ответ! Эта проблема является частью сэмплера для решения стохастических задач управления, над которыми я работаю. Причина, по которой

p

$p$ неизвестна, состоит в том, что для этого потребуется знать нормализующую константу (которая в данном случае является неприятной функцией разбиения), но мы все равно можем сделать выборку из нее, используя выборку отклонения. Кстати, было бы неплохо назвать вас по имени, а не просто по ссылке на резюме ;-).

— Педро А. Ортега

19

Мы можем решить это с помощью нескольких «хитростей» и небольшой математики.

Вот основной алгоритм:

Генерация геометрической случайной величины с вероятностью успеха $p$ .
Исход этой случайной величины определяет фиксированное известное значение $f_n \in [0,1]$ .
Сгенерируйте случайную переменную $\mathrm{Ber}(f_n)$ используя честные броски монет, сгенерированные из блочно-парных бросков нашей монеты $\mathrm{Ber}(p)$ .
Итоговый результат будет $\mathrm{Ber}(p^a)$ для любого $a \in (0,1)$ , и это все, что нам нужно.

Чтобы сделать вещи более усвояемыми, мы разобьем их на куски.

Часть 1 : Без ограничения общности предположим, что $0 < a < 1$ .

Если $a \geq 1$ , то мы можем записать $p^a = p^n p^b$ для некоторого натурального числа $n$ и некоторого $0 \leq b < 1$ . Но для любых двух независимых Бернулли мы имеем Мы можем сгенерировать Бернулли из нашей монеты очевидным образом. Следовательно, нам нужно только поработать над генерацией когда .

P (X_{1} = X_{2} = 1) = p_{1} p_{2} .

$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$

p^{n}

$p^n$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

a \in (0, 1)

$a \in (0,1)$

Часть 2 : Знать, как генерировать произвольный из броска монеты. $\mathrm{Ber}(q)$

Существует стандартный способ сделать это. Разверните в его двоичном расширении, а затем используйте наши справедливые монет, чтобы «сопоставить» цифры . Первое совпадение определяет, объявим ли мы успех («головы») или неудачу («хвосты»). Если и наш бросок монеты равен головам, объявить головы, если и наш бросок монет равен хвостам, объявить хвосты. В противном случае, рассмотрите следующую цифру против нового броска монеты. $q = 0.q_1 q_2 q_3 \ldots$ $q$ $q_n = 1$ $q_n = 0$

Часть 3 : Знайте, как создать справедливый бросок монеты из нечестных с неизвестным уклоном.

Это делается, предполагая , подбрасывая монету попарно. Если мы получим , объявим головы; если мы получим , объявим хвосты и в противном случае повторим эксперимент, пока не произойдет один из двух вышеупомянутых результатов. Они одинаково вероятны, поэтому должны иметь вероятность . $p \in (0,1)$ $HT$ $TH$ $1/2$

Часть 4 : Немного математики. (Тейлор на помощь.)

Разлагая вокруг , теорема Тейлора утверждает, что Обратите внимание, что, поскольку каждый член после первого является отрицательным, поэтому мы имеем где известны априори . Следовательно, где , и $h(p) = p^a$ $p_0 = 1$

p^{a} = 1 - a (1 - p) - \frac{a (1 - a)}{2!} (1 - p)^{2} - \frac{a (1 - a) (2 - a)}{3!} (1 - p)^{3} \dots .

$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$

0 < a < 1

$0 < a < 1$

p^{a} = 1 - \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n},

$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$

0 \leq b_{n} \leq 1

$0 \leq b_n \leq 1$

1 - p^{a} = \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n} = \sum_{n = 1}^{\infty} b_{n} P (G \geq n) = \sum_{n = 1}^{\infty} f_{n} P (G = n) = E f (G),

$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$

G \sim G e o m (p)

$G \sim \mathrm{Geom}(p)$

f_{0} = 0

$f_0 = 0$

f_{n} = \sum_{k = 1}^{n} b_{k}

$f_n = \sum_{k=1}^n b_k$ для .

n \geq 1

$n \geq 1$

И мы уже знаем, как использовать нашу монету для генерации геометрической случайной величины с вероятностью успеха . $p$

Часть 5 : трюк Монте-Карло.

Пусть - дискретная случайная величина, принимающая значения в с . Пусть . Тогда $X$ $[0,1]$ $\Pr(X = x_n) = p_n$ $U \mid X \sim \mathrm{Ber}(X)$

P (U = 1) = \sum_{n} x_{n} p_{n} .

$\Pr(U = 1) = \sum_n x_n p_n.$

Но, взяв и , мы теперь видим, как генерировать случайную переменную и это эквивалентно генерации один. $p_n = p(1-p)^n$ $x_n = f_n$ $\mathrm{Ber}(1-p^a)$ $\mathrm{Ber}(p^a)$

— кардинал
источник

Как я могу процитировать вас (или ваше решение)?

— Педро А. Ортега

2

@Pedro: Полагаю, вы можете нажать на ссылку «поделиться» внизу этого ответа. Это должна быть стабильная ссылка. В Math.SE есть механизм цитирования , который, по-видимому, не включен на этом сайте, но вы можете его адаптировать.

— кардинал

1

Теперь это блестящий ответ!

— Дзен

1

Я написал это на форуме общего обсуждения в классе Coursera по аналитической комбинаторике, так как это было хорошее использование степенных рядов, связанных с некоторыми материалами, которые там освещались. class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— Дуглас Заре

@Douglas: Спасибо! Существует ли общедоступная версия этой ветки или мне нужно зарегистрироваться на курсе, чтобы ее увидеть? Педро и я обсуждали (по электронной почте) возможные пути включения этого подхода в некоторые его исследования.

— кардинал

6

Является ли следующий ответ глупым?

Если независимы и имеет распределение , то будет примерно распределены в , когда . $X_1,\dots,X_n$ $\mathrm{Ber}(p)$ $Y_n$ $\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$ $Y_n$ $\mathrm{Ber}(p^a)$ $n\to\infty$

Следовательно, если вы не знаете , но вы можете бросить эту монету много раз, можно выбрать (приблизительно) из случайной величины . $p$ $\mathrm{Ber}(p^a)$

Пример Rкода:

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Результаты:

p^a = 0.01234568 
est = 0.012291

— Zen
источник

2

Мне нравится этот ответ, но я подозреваю, что он упускает суть вопроса, который я интерпретировал как запрос алгоритма, который генерирует из запрошенного распределения, не зная

(или эмпирическую информацию о

). Но, проблема действительно предполагают , что вы можете создать

случайные величины, так что это вполне разумный ответ и не глупо вообще! +1

p

$p$

p

$p$

B e r n o u l l i (p)

${\rm Bernoulli}(p)$

— Макрос

1

+1: мне это нравится Я предполагаю, что вы имеете в виду, что

распространяется ...?

Y_{n}

$Y_n$

— Нил Г

Намного лучше! Tks, @Neil G!

— Дзен

1

Это мило (+1), но мы можем сделать это точно почти за конечное число сальто (и в среднем это число будет относительно небольшим).

— кардинал

5

Я разместил следующую экспозицию этого вопроса и ответ кардинала на форуме общего обсуждения текущего класса Analytic Combinatorics на Coursera, "Применение степенных рядов для построения случайной величины". Я публикую здесь копию в вики сообщества, чтобы сделать ее общедоступной и более доступной.

На stat.stackexchange.com был интересный вопрос и ответ, связанный с степенными сериями: «Как генерировать нецелое количество последовательных успехов Бернулли?» Я перефразирую вопрос и ответ кардиналом.

Предположим, у нас есть, возможно, несправедливая монета, чьи головы с вероятностью , и положительное действительное число . Как мы можем построить событие, вероятность которого равна ? $p$ $\alpha$ $p^\alpha$

Если бы было положительным целым числом, мы могли бы просто перевернуть монетку раз и позволить событию быть, что все броски были головами. Однако, если не является целым числом, скажем , , то это не имеет смысла, но мы можем использовать эту идею , чтобы снизить к случаю, когда . Если мы хотим построить событие с вероятностью , мы берем пересечение независимых событий с вероятностями и . $\alpha$ $\alpha$ $\alpha$ $1/2$ $0 \lt \alpha \lt 1$ $p^{3.5}$ $p^3$ $p^{0.5}$

Единственное, что мы можем сделать, - это построить событие с любой известной вероятностью . Чтобы сделать это, мы можем построить поток битов справедливым путем многократного листать монету в два раза, чтение , как и в , и игнорируя и . Мы сравниваем этот поток с бинарным разложением $p' \in [0,1]$ $HT$ $1$ $TH$ $0$ $HH$ $TT$ $p' = 0.a_1a_2a_3..._2$ , Случай, когда первое разногласие имеет место, когда имеет вероятность . Мы не знаем , поэтому мы не можем использовать это напрямую, но это будет полезный инструмент. $a_i=1$ $p'$ $p^\alpha$

Основная идея заключается в том, что мы хотели бы использовать степенной ряд для где. Мы можем построить событиячьи вероятностилистать монетраз ивидяесли они все хвосты, и мы можем произвести событие с вероятностьюпутем сравнения двоичных разрядовс изрядной битового потокакак указано выше и проверка, все либроски являются хвостами. $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ $p=1-q$ $q^n$ $n$ $p' q^n$ $p'$ $n$

Построить геометрическую случайную величину с параметром . Это количество хвостов перед первой головой в бесконечной последовательности бросков монет. . (Некоторые люди используют определение, которое отличается на ) $G$ $p$ $P(G=n) = (1-p)^np = q^n p$ $1$

Принимая во внимание последовательность Мы можем изготовить : не Флип монеты до первой главы, и если есть хвосты перед первой головкой, возьмите элемент последовательности индекса . Если каждое , мы можем сравнить с равномерной случайной величиной в (построенной, как указано выше), чтобы получить событие с вероятностью $t_0, t_1, t_2, ...$ $t_G$ $G$ $G$ $t_n \in [0,1]$ $t_G$ $[0,1]$ . $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

Это почти то, что нам нужно. Мы хотели бы исключить это чтобы использовать степенной ряд для в . $p$ $p^\alpha$ $q$

1 = p + q p + q^{2} p + q^{3} p + . . .

$1 = p + qp + q^2p + q^3p + ...$

q^{n} = q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .

$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$

\begin{array}{rcl} \sum_{n} s_{n} q^{n} & = & \sum_{n} s_{n} (q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .) \\ = & \sum_{n} (s_{0} + s_{1} + . . . + s_{n}) q^{n} p \end{array}

$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$

Рассмотрим , Пусть- сумма коэффициентов отдо. Тогда. Каждоепоскольку коэффициенты положительны и суммируются с, поэтому мы можем построить событие с вероятностью $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$ $t_n$ $q$ $q^n$ $1-p^\alpha = \sum_n t_n q^n p$ $t_n\in [0,1]$ $1-0^\alpha = 1$ $1-p^\alpha$ путем сравнения справедливой битового потока с двоичного разложения . Дополнение имеет вероятность мере необходимости. $t_G$ $p^\alpha$

Опять же, аргумент из-за кардинала.

— Дуглас Заре
источник

1

(+1) Спасибо, что пошли на неприятности, чтобы опубликовать это. Различия в изложении, хотя и относительно незначительны, помогают сделать подход более четким.

— кардинал

4

Очень полный ответ от кардинала и последующие материалы вдохновили следующее замечание / вариант.

Пусть PZ обозначает «Вероятность нуля» и . Если является последовательностью Бернулли с PZ , то $q:=1-p$ $X_n$ $q$ - р- Бернулли с PZ . Теперь сделав случайным, т. Е. Заменив его целым числом rv получим Бернулли rv с $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ $q^n$ $n$ $N \geq 1$ $M_N$ Поэтому, если и если мы берем из ответакардинала, мы находим и - как хотел. Это действительно возможно, так как коэффициенты

P r {M_{N} = 0} = \sum_{n = 1}^{\infty} P r {M_{N} = 0 | N = n} P r {N = n} = \sum_{n = 1}^{\infty} P r {N = n} q^{n} .

$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$

0 < a < 1

$0 < a < 1$

P r {N = n} = b_{n}

$\mathrm{Pr}\{N =n\} =b_n$

P r {M_{N} = 0} = 1 - p^{a}

$\mathrm{Pr}\{M_N =0\} = 1- p^a$

1 - M_{N}

$1-M_N$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

b_{n}

$b_n$

b_{n} ⩾ 0

$b_n \geqslant 0$

1

$1$

$N$ $a$ $0 < a < 1$

P r {N = n} = \frac{a}{n} \prod_{k = 1}^{n - 1} (1 - a / k) (n \geq 1) .

$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$

n b_{n} \sim c / n^{a}

$n \,b_n \sim c/n^a$

c = - 1 / Γ (- a) > 0

$c = -1/\Gamma(-a) >0$ .

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$ . The number of computed $X_k$ is geometrically distributed.

— Yves
источник

A related idea would be to make the rvs

X_{k}

$X_k$ dependent with extremal index

θ

$\theta$

(0 < θ < 1)

$(0 < \theta < 1)$ , meaning that

M_{n}

$M_n$ has PZ

q^{n θ}

$q^{n\theta}$ rather than

q^{n}

$q^n$ . Taking

n θ = a

$n\theta = a$ would do the job for any

a > 0

$a>0$ . Given a sequence of iid rv.s

X_{n}

$X_n$ following a standard Frechet, there are known methods to generate a dependent sequence

X_{n}^{⋆}

$X_n^\star$ with standard Frechet margin and the prescribed extremal index

θ

$\theta$ . However, what happens if we replace standard Frechet'' by Bernoulli''?

— Yves

(+1) Very nice, @Yves. A few remarks: (1) The first part can be viewed as the complement of the approach I've taken. In fact, when I first got the series in

b_{n} q^{n}

$b_n q^n$ , while I immediately saw the connection to the geometric, I first tried something more direct and didn't come up with a natural way to do it. Your answer solves that problem. (2) Your approach can also be implemented using only a

B e r (p)

$\mathrm{Ber}(p)$ coin. In particular,

N

$N$ can be generated by descending down a full binary tree based on fair coin flips, where the left nodes are leaves and the decision is made by (...)

— cardinal

(...) comparing the number in

(0, 1)

$(0,1)$ constructed from the (partial) sequence of coin flips to the partial sums

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$ . The termination depth gives

N

$N$ . (3) I believe that

n b_{n} \sim c n^{- (1 + a)}

$n b_n \sim c n^{-(1+a)}$ , which will change your conclusion regarding the finiteness of the mean. (4) In both your approach and mine, it seems we cannot escape computing

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$ , even if we allow for uniform random variates in addition to our

B e r (p)

$\mathrm{Ber}(p)$ coin for the purposes of sampling. Finding a way to avoid that would seem to be the most obvious way to improve efficiency.

— cardinal

1

Thank you @cardinal. I agree with all your comments except perhaps (3). I actually made an error since

c

$c$ is

- 1 / Γ (- a)

$-1/\Gamma(-a)$ (edited), but the exponent of

n

$n$ seems the right one. I used the representation of

Γ (z)

$\Gamma(z)$ as found e.g. on Wikipedia page on infinite product and took

z := - a

$z:=-a$ which gives an equivalent for the product

\prod_{k = 1}^{n - 1}

$\prod_{k=1}^{n-1}$ . I would be more confident if you could check this.

— Yves

Dear @Yves, (+1) You are correct about the constant and about (3). My apologies. Somehow, when I went to transcribe things to paper, I ended up focusing on the asymptotics of

b_{n}

$b_n$ instead of

n b_{n}

$n b_n$ . :-)

— cardinal