Как я могу эффективно смоделировать сумму случайных величин Бернулли?

Я моделирую случайную переменную ( $Y$ ), которая является суммой некоторых ~ 15-40k независимых независимых переменных Бернулли ( ), каждая с разной вероятностью успеха ( ). Формально где и \ Pr (X_i = 0) = 1-p_i .$X_i$$p_i$$Y=\sum X_i$$\Pr(X_i=1)=p_i$$\Pr(X_i=0)=1-p_i$

Я заинтересован в том, чтобы быстро отвечать на запросы, такие как $\Pr(Y<=k)$ (где задано $k$ ).

В настоящее время я использую случайные симуляции для ответа на такие запросы. Я случайным образом рисую каждый $X_i$ соответствии с его $p_i$ , затем суммирую все значения $X_i$ чтобы получить $Y'$ . Я повторяю этот процесс несколько тысяч раз и возвращаю дробь $\Pr(Y'\leq k)$ .

Очевидно, что это не совсем точно (хотя точность значительно увеличивается с увеличением количества симуляций). Кроме того, кажется, у меня достаточно данных о распределении, чтобы избежать моделирования использования. Можете ли вы придумать разумный способ получить точную вероятность $\Pr(Y\leq k)$ ?

п.с.

Я использую Perl & R.

РЕДАКТИРОВАТЬ

После ответов я подумал, что могут потребоваться некоторые разъяснения. Я кратко опишу настройку моей проблемы. Приведен круговой геном с окружностью cи набором nдиапазонов, сопоставленных с ним. Например, c=3*10^9и ranges={[100,200],[50,1000],[3*10^9-1,1000],...}. Обратите внимание, что все диапазоны закрыты (оба конца включены). Также обратите внимание, что мы имеем дело только с целыми числами (целыми единицами).

Я ищу области на круге, которые не покрыты заданными nотображенными диапазонами. Таким образом, чтобы проверить, перекрывается ли заданный диапазон длины xна окружности, я проверяю гипотезу о том, что nдиапазоны отображаются случайным образом. Вероятность того , отображается диапазон длины q>xбудет полностью охватывать заданный диапазон длины xэто (q-x)/c. Эта вероятность становится довольно малой, когда cона велика и / или qмала. Что меня интересует, так это количество диапазонов (вне n) которых охватывают x. Это как Yформируется.

Я проверяю свою нулевую гипотезу против односторонней альтернативы (недостаточное покрытие). Также обратите внимание, что я проверяю несколько гипотез (разной xдлины) и обязательно исправлю это.

Если он часто напоминает пуассона , пытались ли вы аппроксимировать его пуассоном с параметром ?$\lambda = \sum p_i$

РЕДАКТИРОВАТЬ : я нашел теоретический результат, чтобы оправдать это, а также название для распространения : это называетсябиномиальное распределение Пуассона. Неравенство Ле Камаговорит о том, насколько близко его распределение аппроксимируется распределением Пуассона с параметром λ = ∑ p i . Он говорит вам, что качество этого приближения определяется суммой квадратов p i s, перефразируяСтила (1994). Такесливсеваши р I s являются достаточно малы, так как теперь выясняетсяони, должно быть довольно хорошим приближением.$Y$$\lambda = \sum p_i$$p_i$$p_i$

РЕДАКТИРОВАТЬ 2 : Как мало «разумно мало»? Ну, это зависит от того, насколько хорошим вам нужно приближение! Статья Википедии о теореме Ля Кэм дает точную форму результата я говорил выше: сумма абсолютных разностей между функцией вероятностью массовой (PMF) из и PMF вышеуказанного распределения Пуассона является не более чем в два раза сумма из квадратов p я s. Другой результат из Le Cam (1960) может быть проще в использовании: эта сумма также не более чем в 18 раз больше, чем p i . Есть довольно много таких результатов ... см. Серфлинг (1978) для одного обзора.$Y$$p_i$$p_i$

Я наткнулся на ваш вопрос, когда искал решение этой самой проблемы. Я не был ужасно удовлетворен ответами здесь, но я думаю, что есть довольно простое решение, которое дает вам точное распределение, и вполне приемлемо.

Распределением суммы двух дискретных случайных величин является свертка их плотностей. Так что если у вас есть где вы знаете P $Z = X + Y$ и P ( Y ), то вы можете вычислить:$P(X)$$P(Y)$

$$P(Z=z) = \sum_{k=-\infty}^{\infty} P(X=k) \; P(Y=z-k)$$

(Конечно , для Бернулли случайных величин вам не нужно идти вполне до бесконечности.)

Вы можете использовать это, чтобы найти точное распределение суммы ваших RV. Сначала сложите два RV вместе, свернув их PDF-файлы (например, [0,3, 0,7] * [0,6, 0,4] = [0,18, 0,54, 0,28]). Затем свяжите этот новый дистрибутив с вашим следующим файлом Бернулли (например, [0,18, 0,54, 0,28] * [0,5, 0,5] = [0,09, 0,36, 0,41, 0,14]). Продолжайте повторять это, пока все RV не будут добавлены. И вуаля, результирующий вектор является точным PDF суммы всех ваших переменных.

Я проверил с помощью симуляции, что это дает правильные результаты. Он не опирается на какие-либо асимптотические предположения и не предъявляет требований к тому, чтобы зонды Бернулли были маленькими.

Может также быть какой-то способ сделать это более эффективно, чем повторная свертка, но я не очень задумывался об этом. Надеюсь, это кому-нибудь пригодится!

@onestop предоставляет хорошие ссылки. Статья Википедии о биномиальном распределении Пуассона дает рекурсивную формулу для вычисления точного распределения вероятностей; это требует усилий. К сожалению, это знакопеременная сумма, поэтому она будет численно нестабильной: это вычисление безнадежно с арифметикой с плавающей запятой. К счастью, когда p i малы, вам нужно только вычислить небольшое число вероятностей, поэтому усилие действительно пропорционально O ( n log ( ∑ i p $O(n^2)$$p_i$ . Точность, необходимая для проведения расчетов с рациональной арифметикой ($O(n \log(\sum_i{p_i}))$то есть, точно так, чтобы числовая нестабильность не была проблемой) растет достаточно медленно, чтобы общий временной интервал все еще мог быть приблизительно . Это возможно.$O(n^2)$

В качестве теста я создал массив вероятностей для различных значений от n до n = 2 16 , что является размером этой проблемы. Для малых значений n (до n = 2 12 ) время для точного расчета вероятностей было в секундах и масштабировано квадратично, поэтому я рискнул вычислить для n = $p_i = 1/(i+1)$$n$$n = 2^{16}$$n$$n = 2^{12}$$n = 2^{16}$до трех SD выше среднего (вероятности для 0, 1, ..., 22 успеха). Это заняло 80 минут (с Mathematica 8), в соответствии с прогнозируемым временем. (Полученные вероятности - это дроби, числители и знаменатели которых имеют около 75 000 цифр за штуку!) Это показывает, что вычисление можно сделать.

Альтернатива - запустить длинную симуляцию (должен пройти миллион испытаний). Она имеет только сделать один раз, потому что не меняюсь.$p_i$

(Поскольку этот подход не зависит от других опубликованных решений, в том числе от того, который я опубликовал, я предлагаю его в качестве отдельного ответа).

Вы можете вычислить точное распределение в секундах (или меньше) при условии, что сумма p мала.

Мы уже видели предположения о том, что распределение может быть приблизительно гауссовым (при некоторых сценариях) или пуассоновским (при других сценариях). В любом случае, мы знаем, что его среднее значение является суммой p i, а его дисперсия σ 2 является суммой p i ( 1 - p i ) . Поэтому распределение будет сконцентрировано в пределах нескольких стандартных отклонений от его среднего значения, скажем, z SD с z между 4 и 6 или около того. Поэтому нам нужно только вычислить вероятность того, что сумма X равна (целому числу) k для k = $\mu$$p_i$$\sigma^2$$p_i(1-p_i)$$z$$z$$X$$k$ через k = μ + z σ . Когда большая часть p i мала, σ 2 приблизительно равна (но немного меньше) μ , поэтому, чтобы быть консервативным, мы можем выполнить вычисление для k в интервале [ μ - z $k = \mu - z \sigma$$k = \mu + z \sigma$$p_i$$\sigma^2$$\mu$$k$. Например, когда суммаpiравна9и выбранz=6, чтобы хорошо покрыть хвосты, нам понадобится вычисление для покрытияkв[9-6$[\mu - z \sqrt{\mu}, \mu + z \sqrt{\mu}]$$p_i$$9$$z = 6$$k$=[0,27], что составляет всего 28 значений.$[9 - 6 \sqrt{9}, 9 + 6 \sqrt{9}]$$[0, 27]$

Распределение вычисляется рекурсивно . Пусть - распределение суммы первых i этих переменных Бернулли. Для любого j от 0 до i + 1 сумма первых переменных i + 1 может равняться j двумя взаимоисключающими способами: сумма первых переменных i равна j, а i + 1 st равна 0, иначе сумма первые переменные я равен J - 1 и$f_i$$i$$j$$0$$i+1$$i+1$$j$$i$$j$$i+1^\text{st}$$0$$i$$j-1$ это 1 . Следовательно$i+1^\text{st}$$1$

$$f_{i+1}(j) = f_i(j)(1 - p_{i+1}) + f_i(j-1) p_{i+1}.$$

Нам нужно только выполнить это вычисление для интеграла в интервале от max ( 0 , μ - z $j$ доμ+z$\max(0, \mu - z \sqrt{\mu})$ $\mu + z \sqrt{\mu}.$

Когда большинство крошечные (но 1 - p i по-прежнему отличимы от 1 с разумной точностью), этот подход не страдает от огромного накопления ошибок округления с плавающей запятой, используемых в ранее опубликованном решении. Следовательно, вычисления с расширенной точностью не требуются. Например, расчет с двойной точностью для массива из 2 16 вероятностей p i = 1 / ( i + 1 ) ( μ = 10,6676 , требующий вычислений для вероятностей сумм между $p_i$$1 - p_i$$1$$2^{16}$$p_i = 1/(i+1)$$\mu = 10.6676$$0$и ) потребовалось 0,1 секунды с Mathematica 8 и 1-2 секунды с Excel 2002 (оба получили одинаковые ответы). Повторяя его с четырехкратным точностью (в Mathematica) занимает около 2 -х секунд , но не изменил ни одного ответа на более чем 3 × 10 - 15 . Прекращение распределения при z = 6 SD в верхний хвост потеряло только 3,6 × 10 - 8 от общей вероятности.$31$$3 \times 10^{-15}$$z = 6$$3.6 \times 10^{-8}$

Другое вычисление для массива из 40000 случайных значений двойной точности между 0 и 0,001 ( ) заняло 0,08 секунды с Mathematica.$\mu = 19.9093$

Этот алгоритм распараллеливается. Просто разбейте множество на непересекающиеся подмножества примерно одинакового размера, по одному на процессор. Вычислите распределение для каждого подмножества, затем сверните результаты (используя FFT, если хотите, хотя это ускорение, вероятно, не нужно), чтобы получить полный ответ. Это делает его практичным для использования, даже когда μ становится большим, когда вам нужно смотреть далеко в хвосты ( z большое), и / или n большое.$p_i$$\mu$$z$$n$

Время для массива из переменных с m процессорами масштабируется как O ( n ( μ + z $n$$m$. Скорость Mathematica составляет порядка миллиона в секунду. Например, припроцессореm=1,n=20000изменяется, общая вероятностьμ=100, а выход наz=6стандартных отклонений в верхнем хвосте,n(μ+z$O(n(\mu + z \sqrt{\mu})/m)$$m = 1$$n = 20000$$\mu = 100$$z = 6$миллиона: цифра в пару секунд вычислительного времени. Если вы скомпилируете это, вы можете увеличить производительность на два порядка.$n(\mu + z \sqrt{\mu})/m = 3.2$

Между прочим, в этих тестовых случаях графики распределения ясно показали некоторую положительную асимметрию: они не являются нормальными.

Для справки, вот решение Mathematica:

pb[p_, z_] := Module[
  {\[Mu] = Total[p]},
  Fold[#1 - #2 Differences[Prepend[#1, 0]] &, 
   Prepend[ConstantArray[0, Ceiling[\[Mu] + Sqrt[\[Mu]] z]], 1], p]
  ]

( NB . Цветовое кодирование, примененное этим сайтом, не имеет смысла для кода Mathematica. В частности, серый материал - это не комментарии: это то, где вся работа сделана!)

Примером его использования является

pb[RandomReal[{0, 0.001}, 40000], 8]

---

редактировать

RРешение в десять раз медленнее , чем Mathematica в этом тесте - возможно , я не закодировал оптимально - но он по- прежнему выполняет быстро (около одной секунды):

pb <- function(p, z) {
  mu <- sum(p)
  x <- c(1, rep(0, ceiling(mu + sqrt(mu) * z)))
  f <- function(v) {x <<- x - v * diff(c(0, x));}
  sapply(p, f); x  
}
y <- pb(runif(40000, 0, 0.001), 8)
plot(y)

With different $p_i$ your best bet I think is normal approximation. Let $B_n=\sum_{i=1}^np_i(1-p_i)$. Then

$$\begin{align*} B_n^{-1/2}\left(\sum_{i=1}^nX_i-\sum_{i=1}^np_i\right)\to N(0,1), \end{align*}$$ as $n\to\infty$, provided that for each $\varepsilon>0$

$$\begin{align*} B_n^{-1}\sum_{i=1}^nE\left((X_i-p_i)^2\mathbf{1}\{|X_i-p_i|>\varepsilon B_n^{1/2}\}\right)\to 0, \end{align*}$$ as $n\to\infty$, which for Bernoulli variables will hold if $B_n\to\infty$. This is the so-called Lindeberg condition, which is sufficient and necessary for convergence to the standard normal.

Update: The approximation error can be calculated from the following inequality:

$$\begin{align*} \sup_x|F_n(x)-\Phi(x)|\le AL_n, \end{align*}$$ $$\begin{align*} L_n=B_n^{-3/2}\sum_{i=1}^nE|X_i-p_i|^3 \end{align*}$$ and $F_n$ is the cdf of the scaled and centered sum of $X_i$.

As whuber pointed out, the convergence can be slow for badly behaved $p_i$. For $p_i=\frac{1}{1+i}$ we have $B_n\approx \ln n$ and $L_n\approx (\ln n)^{-1/2}$. Then taking $n=2^{16}$ we get that the maximum deviation from the standard normal cdf is a whopping 0.3.

Well, based on your description and the discussion in the comments it is clear that $Y$ has mean $\sum_i p_i$ and variance $\sum_i p_{i}(1-p_{i})$. The shape of $Y$'s distribution will ultimately depend on the behavior of $p_i$. For suitably "nice" $p_i$ (in the sense that not too many of them are really close to zero), the distribution of $Y$ will be approximately normal (centered right at $\sum p_i$). But as $\sum_i p_i$ starts heading toward zero the distribution will be shifted to the left and when it crowds up against the $y$-axis it will start looking a lot less normal and a lot more Poisson, as @whuber and @onestop have mentioned.

From your comment "the distribution looks Poisson" I suspect that this latter case is what's happening, but can't really be sure without some sort of visual display or summary statistics about the $p$'s. Note however, as @whuber did, that with sufficiently pathological behavior of the $p$'s you can have all sorts of spooky things happen, like limits that are mixture distributions. I doubt that is the case here, but again, it really depends on what your $p$'s are doing.

As to the original question of "how to efficiently model", I was going to suggest a hierarchical model for you but it isn't really appropriate if the $p$'s are fixed constants. In short, take a look at a histogram of the $p$'s and make a first guess based on what you see. I would recommend the answer by @mpiktas (and by extension @csgillespie) if your $p$'s aren't too crowded to the left, and I would recommend the answer by @onestop if they are crowded left-ly.

By the way, here is the R code I used while playing around with this problem: the code isn't really appropriate if your $p$'s are too small, but it should be easy to plug in different models for $p$ (including spooky-crazy ones) to see what happens to the ultimate distribution of $Y$.

set.seed(1)
M <- 5000
N <- 15000
p <- rbeta(N, shape1 = 1, shape2 = 10)
Y <- replicate(M, sum(rbinom(N, size = 1, prob = p)))

Now take a look at the results.

hist(Y)
mean(Y)
sum(p)
var(Y)
sum(p*(1 - p))

Have fun; I sure did.

I think other answers are great, but I didn't see any Bayesian ways of estimating your probability. The answer doesn't have an explicit form, but the probability can be simulated using R.

Here is the attempt:

$$X_i | p_i \sim Ber(p_i)$$

$$p_i \sim Beta(\alpha, \beta)$$

Using wikipedia we can get estimates of $\hat{\alpha}$ and $\hat{\beta}$ (see parameter estimation section).

Now you can generate draws for the $i^{th}$ step, generate $p_i$ from $Beta(\hat{\alpha},\hat{\beta})$ and then generate $X_i$ from $Ber(p_i)$. After you have done this $N$ times you can get $Y = \sum X_i$. This is a single cycle for generation of Y, do this $M$(large) number of times and the histogram for $M$ Ys will be the estimate of density of Y.

$$Prob[Y \leq y] = \frac {\#Y \leq y} {M}$$

This analysis is valid only when $p_i$ are not fixed. This is not the case here. But I will leave it here, in case someone has a similar question.

As has been mentioned in other answers, the probability distribution you describe is the Poisson Binomial distribution. An efficient method for computing the CDF is given in Hong, Yili. On computing the distribution function for the Poisson binomial distribution.

The approach is to efficiently compute the DFT (discrete Fourier transform) of the characteristic function.

The characteristic function of the Poisson binomial distribution is give by $\phi(t) = \prod_j^n [(1-p_j)+p_je^{it}]$ ($i=\sqrt{-1}$).

The algorithm is:

1. Let $z_j(k) = 1-p_j+p_j \text{cos}(\omega k)+ i p_j \text{sin}(\omega k)$, for $\omega=\frac{2\pi}{n+1}$.
2. Define $x_k=\text{exp}\{\sum_j^n log(z_j(k))\}$, define $x_0=1$.
3. Compute $x_k$ for $k=1,\dots,[n/2]$. Use symmetry $\bar{x}_k=x_{n+1-k}$ to get the rest.
4. Apply FFT to the vector $\frac{1}{n+1}<x_0,x_1,\dots,x_n>$.
5. Take the cumulative sum of result to get the CDF.

The algorithm is available in the poibin R package.

This approach gives much better results than the recursive formulations as they tend to lack numerical stability.

I would suggest applying Poisson approximation. It is well known (see A. D. Barbour, L. Holst and S. Janson: Poisson Approximation) that the total variation distance between $Y$ and a r.v. $Z$ having Poisson distribution with the parameter $\sum_i p_i$ is small:

$$\sup_A |{\bf P}(Y\in A) - {\bf P}(Z\in A)| \le \min \left\{ 1, \frac{1}{\sum_i p_i} \right\} \sum_i p_i^2.$$ There are also bounds in terms of information divergence (the Kullback-Leibler distance, you may see P. Harremoёs: Convergence to the Poisson Distribution in Information Divergence. Preprint no. 2, Feb. 2003, Mathematical Department, University of Copenhagen. http://www.harremoes.dk/Peter/poisprep.pdf and other publications of P.Harremoёs), chi-squared distance (see Borisov and Vorozheikin https://link.springer.com/article/10.1007%2Fs11202-008-0002-3) and some other distances.

For the accuracy of approximation $|{\bf E}f(Y) - {\bf E}f(Z)|$ for unbounded functions $f$ you may see Borisov and Ruzankin https://projecteuclid.org/euclid.aop/1039548369 . Besides, that paper contains a simple bound for probabilities: for all $A$, we have

$${\bf P}(Y\in A) \le \frac{1}{(1-\max_i p_i)^2} {\bf P}(Z\in A).$$