Связь между биномиальными и бета-распределениями

Я больше программист, чем статистик, поэтому я надеюсь, что этот вопрос не слишком наивен.

Это происходит при выполнении программ сэмплирования в случайное время. Если я возьму N = 10 случайных выборок состояния программы, я смогу увидеть выполнение функции Foo, например, на I = 3 из этих выборок. Меня интересует, что это говорит мне о фактической доле времени F, когда Foo выполняется.

Я понимаю, что я биномиально распределен со средним F * N. Я также знаю, что, учитывая I и N, F следует бета-версии. На самом деле я проверил программой связь между этими двумя дистрибутивами, которая

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Проблема в том, что у меня нет интуитивного чувства отношений. Я не могу «представить», почему это работает.

РЕДАКТИРОВАТЬ: Все ответы были сложные, особенно @ whuber, которые мне все еще нужно ухватиться, но наведение порядка статистики было очень полезно. Тем не менее, я понял, что должен был задать более простой вопрос: каково распределение F для I и N? Все отметили, что это Бета, которую я знал. Я наконец понял из Википедии ( Conjugate prior ), что это, похоже, так Beta(I+1, N-I+1). После изучения с помощью программы, это, кажется, правильный ответ. Итак, я хотел бы знать, если я не прав. И я до сих пор не понимаю, как соотносятся два файла cdf, показанных выше, почему они составляют 1 и имеют ли они какое-либо отношение к тому, что я действительно хотел знать.

Рассмотрим статистику порядка для n + 1 независимых розыгрышей из равномерного распределения. Поскольку статистика порядка имеет бета-распределения , вероятность того, что x [ k ] не превышает p , определяется бета-интегралом$x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$$n+1$$x_{[k]}$$p$

(Почему это так? Вот нестрогая, но запоминающаяся демонстрация. Вероятность того, что лежит между p и p + d p, - это вероятность того, что из n + 1 равномерных значений, k из них лежат между 0 и p по крайней мере один из них лежит между p и p + d p , а остальные лежат между p + d p и 1. К первому порядку в бесконечно малом d $x_{[k]}$$p$$p + dp$$n+1$$k$$0$$p$$p$$p + dp$$p + dp$$1$$dp$нам нужно только рассмотреть случай, когда ровно одно значение (а именно, само ) лежит между p и p + d p и, следовательно, значения n - k превышают p + d p . Поскольку все значения независимы и равномерны, эта вероятность пропорциональна p k ( d p ) ( 1 - p - d p ) n - k . Для первого порядка по d p это равно $x_{[k]}$$p$$p + dp$$n - k$$p + dp$$p^k (dp) (1 - p - dp)^{n-k}$$dp$ , именно подынтегральное выражение бета-распределения. Термин$p^k(1-p)^{n-k}dp$ может быть вычислено непосредственно из этого аргумента как множительный коэффициент ( n + $\frac{1}{B(k+1, n-k+1)}$или выводится косвенно как нормализующая константа интеграла.)${n+1}\choose{k,1, n-k}$

По определению, событие является то , что к + 1 - й значение не превышает р . Эквивалентно, по крайней мере, k + 1 значений не превышает p : это простое (и я надеюсь, очевидное) утверждение обеспечивает искомую интуицию. Вероятность эквивалентного утверждения задается биномиальным распределением,$x_{[k]} \le p$$k+1^\text{st}$$p$ $k+1$$p$

Итак , бета-интеграл разбивает вычисление события на серию вычислений: нахождение как минимум значений в диапазоне [ 0 , p ] , вероятность которого мы обычно вычисляем с помощью биномиального cdf, разбивается на взаимно исключительные случаи, когда ровно k значений находятся в диапазоне [ 0 , x ], а 1 значение находится в диапазоне [ x , x + d x ] для всех возможных x , 0 ≤ x < $k+1$$[0, p]$ $k$$[0, x]$$[x, x+dx]$$x$$0 \le x \lt p$и бесконечно малая длина. Суммирование по всем таким «окнам» [ x , x + d x ], т. Е. Интегрированию, должно давать такую ​​же вероятность, что и биномиальный cdf.$dx$$[x, x+dx]$

Посмотрите на PDF Binomial как функцию : f ( x ) = ($x$и pdf бета-функции как функцияp:g(p)=Γ(a+b

Как вы заметили, бета-распределение описывает распределение параметра пробной вероятности , в то время как биномиальное распределение описывает распределение параметра I результата . Переписывая свой вопрос, вы спросили, почему P ( F ≤ i + $F$$I$P(Fn≤i+1)+P(I+1≤fn)=1P(Fn≤i+1)=P(fn<Я+1

Я признаю, что это может не помочь интуитивно понять первоначальную формулировку проблемы, но, возможно, это поможет, по крайней мере, увидеть, как эти два распределения используют одну и ту же базовую модель повторных испытаний Бернулли для описания поведения различных параметров.

In Bayesian land, the Beta distribution is the conjugate prior for the p parameter of the Binomial distribution.

Can't comment on other answers, so i have to create my own answer.

Posterior = C * Likelihood * Prior (C is a constant that makes Posterior integrated to 1)

Given a model that uses Binomial distribution for likelihood, and Beta distribution for Prior. The product of the two which generates the Posterior is also a Beta distribution. Since the Prior and Posterior are both Beta, and thus they are conjugate distributions. the Prior (a Beta) is called conjugate prior for the likelihood (a Binomial). For example, if you multiply a Beta with a Normal, the Posterior is no longer a Beta. In summary, Beta and Binomial are two distributions that are frequently used in Bayesian inference. Beta is Conjugate Prior of Binomial, but the two distributions are not a subset or superset of the other.

The key idea of Bayesian inference is we are treating the parameter p as a random variable that ranges from [0,1] which is contrary to frequentist inference approach where we are treating parameter p as fixed. If you look closely to the properties of Beta distribution, you will see its Mean and Mode are solely determined by $\alpha$ and $\beta$ irrelevant to the parameter p . This, coupled with its flexibility, is why Beta is usually used as a Prior.

Summary: It is often said that Beta distribution is a distribution on distributions! But what is means?

It essentially means that you may fix $n,k$ and think of $\mathbb P[Bin(n,p)\geqslant k]$ as a function of $p$. What the calculation below says is that the value of $\mathbb P[Bin(n,p)\geqslant k]$ increases from $0$ to $1$ when you tune $p$ from $0$ to $1$. The increasing rate at each $p$ is exactly $\beta(k,n-k+1)$ at that $p$.

Let $Bin(n,p)$ denote a Binomial random variable with $n$ samples and the probability of success $p$. Using basic algebra we have

It has also some nice combinatorial proof, think of it as an exercise!

So, we have:

Remark To see an interactive version of the plot look at this. You may download the notebook or just use the Binder link.