Вероятность пересечения из нескольких выборок одной и той же популяции

Вот пример случая:

• У меня есть население 10000 предметов. Каждый элемент имеет уникальный идентификатор.
• Я случайно выбираю 100 предметов и записываю идентификаторы
• Я положил 100 предметов обратно в население
• Я снова выбираю 100 предметов, записываю идентификаторы и заменяю их.
• В общей сложности я повторяю эту случайную выборку 5 раз

Какова вероятность того, что число появится во всех 5 случайных выборках?$X$

Я не очень хорошо разбираюсь в статистике. Будет ли это правильно для ?$X = 10$

• Для каждой выборки число возможных комбинаций 100 элементов из 10 000 составляет${\rm binom}(10000, 100)$
• Из всех возможных комбинаций из 100 элементов комбинации содержат 10 определенных элементов${\rm binom}(9990, 90) * {\rm binom}(100, 10)$
• Вероятность наличия 10 конкретных предметов составляет$({\rm binom}(9990, 90) * {\rm binom}(100, 10)) / {\rm binom}(10000, 100)$
• Рассчитанная вероятность до степени 5 будет представлять 5 независимых выборок.

Итак, по сути, мы просто вычисляем 5 независимых гипергеометрических вероятностей и затем умножаем их вместе? Я чувствую, что где-то пропускаю шаг.

Вычислить шансы рекурсивно.

Пусть будет вероятностью того, что точно значений, , будут выбраны во всех независимых розыгрышах предметов (без замены) из совокупности членов , (Давайте держать и фиксированными на время анализа, чтобы их не нужно было упоминать явно.)x 0 ≤ x ≤ k s ≥ 1 k n ≥ k > 0 n $p_s(x)$$x$$0 \le x \le k$$s\ge 1$$k$$n \ge k \gt 0$$n$$k$

Пусть - вероятность того, что если в первом выбраны именно значения , то из них будут выбраны в последнем тираже. Тогда, поскольку есть подмножества из элементов этих элементов , и подмножества оставшихся элементов выбираются отдельно из других членов совокупности,y s - 1 x ≤ y ($p_s(x\mid y)$$y$$s-1$$x \le y$$\binom{y}{x}$$x$$y$$\binom{n-y}{k-x}$$k-x$$n-y$

Закон полной вероятности утверждает

Для , наверняка, : это начальное распределение.$s=1$$x=k$

Общее вычисление, необходимое для получения полного распределения через повторений, составляет . Мало того, что это достаточно быстро, алгоритм прост. Неосторожный программист ожидает одну ловушку, которая заключается в том, что эти вероятности могут стать чрезвычайно малыми и привести к потере вычислений с плавающей точкой. Следующая реализация избегает этого, вычисляя значения в столбцах массива.$s$$O(k^2 s)$R$\log(p_s(x))$$1, 2, \ldots, s$

lp <- function(s, n, k) {
  P <- matrix(NA, nrow=k+1, ncol=s, dimnames=list(0:k, 1:s))
  P[, 1] <- c(rep(-Inf, k), 0)
  for (u in 2:s) 
    for (i in 0:k) {
      q <- P[i:k+1, u-1] + lchoose(i:k, i) + lchoose(n-(i:k), k-i) - lchoose(n, k)
      q.0 <- max(q, na.rm=TRUE)
      P[i+1, u] <- q.0 + log(sum(exp(q - q.0)))
    }
  return(P)
}
p <- function(...) zapsmall(exp(lp(...)))

Ответ на вопрос получается, если и . $s=5,$ $n=10000=10^4$$k=100=10^2$ На выходе получается массив , но большинство чисел настолько малы, что мы можем сосредоточиться на очень маленьком . Вот первые четыре строки, соответствующие :$101\times 5$$x$$x=0,1,2,3$

p(5, 1e4, 1e2)[1:4, ]

Выход

  1         2         3      4        5
0 0 0.3641945 0.9900484 0.9999 0.999999
1 0 0.3715891 0.0099034 0.0001 0.000001
2 0 0.1857756 0.0000481 0.0000 0.000000
3 0 0.0606681 0.0000002 0.0000 0.000000

Значения обозначают строки, а значения - столбцы. Столбец 5 показывает вероятность того, что один элемент появляется во всех пяти выборках, является крошечным (примерно один на миллион), и практически нет шансов, что два или более элемента появятся во всех пяти выборках.$x$$s$

Если вы хотите увидеть, насколько малы эти шансы, посмотрите на их логарифмы. База 10 удобна и нам не нужно много цифр:

u <- lp(5, 1e4, 1e2)[, 5]
signif(-u[-1] / log(10), 3)

Выходные данные говорят нам, сколько нулей после десятичной запятой:

    1     2     3     4     5     6     7     8     9    10  ...   97    98    99   100 
  6.0  12.3  18.8  25.5  32.3  39.2  46.2  53.2  60.4  67.6 ... 917.0 933.0 949.0 967.0 

Числа в верхнем ряду являются значениями . Например, вероятность того, что во всех пяти выборках будут обнаружены ровно три значения , дает и на самом деле это имеет нулей до первая значащая цифра. Как проверка, последнее значение является округленной версией . (который учитывает вероятность повторного появления первого образца в следующих четырех образцах) равен$x$exp(u[4])$0.000\,000\,000\,000\,000\,000\,1434419\ldots$$18$$967.0$$967.26$$\binom{10000}{100}^{-4}$$10^{-967.26}.$

Я просто столкнулся с подобной проблемой и, хотя я также не знаю, является ли это правильным решением, подошел к нему так:

Вы заинтересованы в появлении предметов в 5 образцах по штук из предметов. Вы можете подумать о урне с белыми шарами и черными шарами. шаров, а - вероятность того, что в вашем наборе все белых шаров. Если вы сделаете это раз (независимо), я бы это: .$X$$100$$10,000$$X$$10,000-X$$100$$p_h$$X$$5$$p = {p_h}^5$

Я мог бы даже подумать еще об одном шаге и обернуть его вокруг биномиального распределения: если у вас есть монета, которая приходит в голову с вероятностью (вероятность того, что у вас есть все предметы в вашем наборе) и вы подбрасываете ее раз, что такое вероятность получения голов? .$p_h$$5$$5$$p = {5\choose 5}{p_h}^5 (1-{p_h})^{5-5} = {p_h}^5$

Какова вероятность того, что число появится во всех 5 случайных выборках?$X$

Основываясь на том, что сказал Ганс, вы хотите всегда получать одинаковые идентификаторы в каждой выборке из 100 и 100- идентификаторов из оставшихся 10000- . Вероятность сделать это для данной выборки определяется гипергеометрической функцией для успехов в розыгрыше 100 из 10000 населения с возможными состояниями успеха: . Для 5 образцов вы бы взяли .$X$$X$$X$$X$$X$$P = \frac{{X \choose X}{10000-X \choose 100-X}}{10000 \choose 100}$$P^5$

Однако, что мы предполагаем , зная идентификаторов , которые являются общими, и есть способы выбора этих идентификаторов. Таким образом, ваш окончательный ответ будет .$X$$10000 \choose X$$X$${10000 \choose X} P^5$