Обратная проблема дня рождения с несколькими столкновениями

Предположим, у вас был год инопланетянина с неизвестной длиной N. Если у вас есть случайная выборка из указанных инопланетян, и у некоторых из них есть общие дни рождения, можете ли вы использовать эти данные для оценки длины года?

Например, в выборке из 100 у вас может быть две тройки (т.е. два дня рождения, каждый из которых разделен на три пришельца) и пять пар и восемьдесят четыре синглета. При оценке N абсолютный минимум равен 91, а максимум неограничен, но как мне найти разумное ожидаемое значение?

Предположения включают такие вещи, как «все дни рождения одинаково вероятны».

В отличие от ответа на другой вопрос, в комнате есть известные столкновения. Любой достаточно долгий год будет иметь большую вероятность отсутствия столкновений для комнаты пришельцев. Но очень длинные годы будут иметь низкие шансы на любые столкновения, а короткие годы будут иметь низкие шансы на несколько столкновений, таким образом обеспечивая (теоретический) диапазон для наиболее вероятных длин года.

Ожидаемое значение распределения рассчитывается как . Для этой задачи мы хотим вычислить распределение N с учетом некоторых критериев столкновения или найти E ( N ) = ∑ ∞ n = 0 p n n с учетом некоторых критериев столкновения, где p n = P ( N = n ) $E(X) = \sum {p_ix_i}$$N$$E(N) = \sum_{n=0}^{\infty}p_n n$$p_n=P(N=n).$

Предположим, у вас есть некоторые критерии столкновения, как указано выше, и пусть будет вероятностью того, что критерии столкновения будут выполнены, если длина года равна n . Тогда q n можно найти, просто разделив количество способов, которым критерии столкновения могут быть удовлетворены, на количество способов, которыми дни рождения могут быть организованы в целом. Как только q n найден для каждого возможного n , единственная часть, которая отсутствует, переводит q n в p n$q_n$$n.$$q_n$$q_n$$n$$q_n$$p_n.$

Если предположить, что пропорционально q n , то p n = α q n . Так как Е ∞ п = 0 р п = 1 , α Е ∞ п = 0 д п = 1 и α = $p_n$$q_n$$p_n= \alpha q_n.$$\sum_{n=0}^{\infty} p_n=1$$\alpha \sum_{n=0}^{\infty} q_n=1$Поэтому нам просто нужна формула дляq$\alpha=\frac{1}{\sum_{n=0}^{\infty} q_n}.$$q_n$ чтобы решить эту проблему.

Для вашего примера, давайте сначала найдем число возможных критериев столкновения при Первый инопланетный синглтон может приземлиться в любой день, поэтому существует n возможностей. Следующий синглтон может приземлиться в любой день, кроме дня рождения первого пришельца, поэтому существует n - 1 возможностей. Завершая это для первых 84 синглетонов, мы получаем n ( n - 1 ) ( n - 2 ) . , , ( n - 83 $N=n.$$n$$n-1$$n(n-1)(n-2)...(n-83)$возможные пути это может произойти. Обратите внимание, что у нас также есть 5 пар и 2 тройки, поэтому «первый» инопланетянин для каждой группы не должен попадать на пары синглтона. Это приводит к $n(n-1)(n-2)...(n-84-5-2 + 1)$ способы, которыми эти инопланетяне не сталкиваются (неуклюжий синтаксис для более простого обобщения позже).

Далее, у второго пришельца для данной пары или триплета есть 91 выбор, у следующего - 90 и т. Д., Общее количество способов, которым это может произойти, учитывая дни рождения первых 91 иностранца, составляет . Оставшиеся члены триплетов должны приходиться на дни рождения пар, и вероятность этого составляет 7 * 6 . Мы умножаем вероятности для всего этого вместе, чтобы получить общее количество возможных способов для критериев столкновения, которые будут выполнены как:$91(91-1)(91-2)...(91-7+1)$$7*6$

$$r_n=n(n-1)...(n-84-5-2+1)(84+5+2)(84+5+2-1)...(84+1)(5+2)(5+1)$$

В этот момент образец ясен, если мы имеем синглтоны, б пар и гр триплеты, заменит 84 с , 5 с Ь , и 2 с с , чтобы получить обобщенную формулу. Я думаю, что также ясно, что число возможных способов организации дней рождения в общем случае составляет n m , где m - общее количество иностранцев в проблеме. Следовательно, вероятность соответствия критериям столкновения - это число способов удовлетворения критериям столкновения, деленное на количество способов рождения инопланетян, или q n = r n.$a$$b$$c$$a,$$b,$$c$$n^m$ .$q_n=\frac{r_n}{n^m}$

Еще одна интересная вещь появилась в формуле . Пусть y n = n ( n - 1 ) . , , ( n - ( a + b + c ) + 1 ) = n $r_n$и пустьznбудет оставшейся частьюrn,так чтоrn=ynzn. Обратите внимание, чтоznне зависит от n, поэтому мы можем просто записатьzn=zкак константу! Посколькуpn=qn/∑ ∞ i = 0 qi, аqn$y_n=n(n-1)...(n-(a+b+c)+1)=\frac{n!}{(n-(a+b+c))!}$$z_n$$r_n$$r_n=y_nz_n$$z_n$$z_n=z$$p_n=q_n/\sum_{i=0}^\infty q_i$ , мы можем фактически вычестьzиз суммы в знаменателе. В этот момент он отменяется с частью из числителя, чтобы получитьpn=y$q_n=\frac{zy_n}{n^m}$$z$. Мы можем еще больше упроститьyn,если мы допустимs=a+b+c(или это можно рассматривать как число уникальных дней рождения в группе инопланетян), так что мы получим:$p_n=\frac{y_n}{n^m}/\sum_{i=0}^\infty (\frac{y_i}{i^m})$$y_n$$s=a+b+c$

$$p_n=\frac{\frac{n!}{(n-s)!}}{n^m}/\sum_{i=0}^\infty (\frac{\frac{i!}{(i-s)!}}{i^m})$$

Теперь мы имеем (довольно) простую формулу для и, следовательно, (довольно) простую формулу для E ( N ) , где было сделано единственное предположение, что P ( N = n ) пропорциональна q n (вероятность встречи критерии столкновения, учитывая, что N = n ). Я думаю, что это справедливое предположение, и кто-то умнее меня мог бы даже доказать, что это предположение связано с P ( N = n ) после многочленного распределения. На данный момент мы можем рассчитать$p_n$$E(N)$$P(N=n)$$q_n$$N=n$$P(N=n)$ используя численные методы или сделайте некоторые предположения приближения, поскольку p n будет приближаться к 0, когда n приближается к ∞ .$E(N)$$p_n$$n$$\infty$

Отличный ответ от Коди дает хороший способ выразить функцию правдоподобия для $N$ , число дней в году (или апостериорное распределение на основе плоского априора), вычленяя некоторую часть вероятности, которая не зависит от $N$ .

В этом ответе я хотел бы записать его более кратко, а также предоставить способ вычисления максимума этой функции правдоподобия (а не ожидаемого значения, которое гораздо сложнее вычислить).

---

Функция правдоподобия для N

Количество способов сделать последовательность $a+2b+3c$ дня рождения из множества $n$ рождения, с тем ограничением , что есть число единичных рождения, б дублирующих дней рождения, и с тройными днями рождения равно$a$$b$$c$

$$\begin{array}{ccl} r_n &=& \underbrace{{n}\choose{a+b+c}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{pick $m$ unique birthdays}& \\ &\text{out of $n$ days}&\end{array}} \underbrace{\frac{(a+b+c)!}{a!b!c!}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{distribute $m$ birthdays}& \\ &\text{among groups of size $a$, $b$ and $c$}&\end{array}} \underbrace{\frac{(a+2b+3c)!}{1!^a2!^b3!^c}}_{\small\begin{array}{ccc}&\text{number of ordered ways to} &\\ &\text{arrange specific }& \\&\text{single, duplicate, and triplicates}& \\ &\text{among the aliens }&\end{array}} \\ &=& \frac{n!}{(n-a-b-c)!} \times \frac{(a+2b+3c)}{a!b!c!1!^a2!^b3!^c} \end{array}$$

и только первый член на правой стороне зависит от $n$ , поэтому, вычеркивая другие члены, мы заканчиваем простым выражением для функции правдоподобия

$$\begin{array}{rcl} \mathcal{L}(n|a,b,c) &=& n^{-(a+2b+3c)} \frac{n!}{(n-a-b-c)!} = n^{-m} \frac{n!}{(n-s)!}\\ & \propto & P(a,b,c|n) \end{array}$$

где мы следуем обозначениям Коди и используем $m$ для обозначения числа пришельцев, а $s$ - числа уникальных дней рождения.

---

Оценка максимального правдоподобия для N

Мы можем использовать эту функцию правдоподобия для получения оценки максимального правдоподобия для $N$ .

Обратите внимание, что

$$\mathcal{L}(n) = \mathcal{L}(n-1) \left(\frac{n-1}{n}\right)^m\frac{n}{n-s}$$

и максимум будет происходить непосредственно перед $n$ для которого

$$\left(\frac{n-1}{n}\right)^m\frac{n}{n-s} = 1$$

или

$$s = n \left(1-\left(1-1/n\right)^m \right)$$

примерно для больших $n$ (используя ряд Лорана, который можно найти, подставив $x = 1/n$ и записав ряд Тейлора для $x$ в точке $x=0$ )

$$s \approx \sum_{k=0}^l {{m}\choose{k}} (-n)^{-k} + \mathcal{O} \left( n^{-(l+1)} \right)$$

Используя только член первого порядка $s \approx m - \frac{m(m-1)}{2 n}$ вы получаете:

$$n_1 \approx \frac{ {{m}\choose{2}}}{m-s}$$

Используя также член второго порядка $s \approx m - \frac{m(m-1)}{2 n} + \frac{m(m-1)(m-2)}{6 n^2}$ вы получите:

$$n_2 \approx \frac{ {{m}\choose{2}} + \sqrt{{{m}\choose{2}}^2- 4 (m-s){{m}\choose{3}} } }{2(m-s)}$$

Так что в случае $m=100$ пришельцев, среди которых$s=91$ уникальных дней рождения, вы получаете приближение$n_1 \approx 550$ и$n_2 \approx 515.1215$ . Когда вы решаете уравнение численно, вы получаете$n=516.82$ который мы округляем до$n=516$ чтобы получить MLE.