Какова жесткая нижняя граница времени сбора купонов?

20

В классической задаче по сбору купонов хорошо известно, что время необходимое для завершения набора из случайно выбранных купонов, удовлетворяет , и . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Эта верхняя граница лучше, чем та, которую дает неравенство Чебышева, которое было бы примерно $1/c^2$ .

У меня вопрос: есть ли соответствующая нижняя граница для для Чебышева $T$ ? (например, что-то вроде $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— Дэвид
источник

Очевидная нижняя граница - это

Pr (T < n) = 0

$\Pr(T<n) = 0$ , но я думаю, вы знаете об этом ...

— Нестоп

14

Я даю это как второй ответ, так как анализ является полностью элементарным и дает именно желаемый результат.

Предложение Для $c > 0$ и $n \geq 1$ ,

P (T < n журнал N - с N) < е^{- с},

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

Идея доказательства проста:

Представьте время, пока все купоны не будут собраны, в виде $T = \sum_{i=1}^n T_i$ , где $T_i$ - время сбора $i$ го (ранее) уникального купона. $T_i$ геометрические случайные величины со средним времена $\frac{n}{n-i+1}$ .
Примените версию Чернова с привязкой и упростите.

доказательство

Для любого и любого имеем $t$ $s > 0$

п (Т < T) знак равно п (е^{- s Т} > е^{- s T}) \leq е^{s T} Е е^{- s Т},

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Так как и независимы, мы можем написать $T = \sum_i T_i$ $T_i$

Е е^{- s Т} знак равно Π_{я знак равно 1}^{N} Е е^{- s Т_{я}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Теперь, когда является геометрическим, скажем, с вероятностью успеха , тогда простое вычисление показывает $T_i$ $p_i$

Е е^{- s Т_{я}} знак равно \frac{п_{я}}{е^{s} - 1 + п_{я}},

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

Для нашей задачи : , , и т. Д. Следовательно, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

Π_{я знак равно 1}^{N} Е е^{- s Т_{я}} знак равно Π_{я знак равно 1}^{N} \frac{я / N}{е^{s} - 1 + я / N},

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Давайте выберем и для некоторого . Тогда и , давая $s = 1/n$ $t = n \log n - c n$ $c > 0$

е^{s T} знак равно N е^{- с}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

Π_{я знак равно 1}^{N} \frac{я / N}{е^{s} - 1 + я / N} \leq Π_{я знак равно 1}^{N} \frac{я}{я + 1} знак равно \frac{1}{N + 1},

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Сложив это вместе, мы получаем, что

п (Т < N журнал N - с N) \leq \frac{N}{N + 1} е^{- с} < е^{- с}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

по желанию.

— кардинальный
источник

Это очень мило и именно то, что доктор прописал. Спасибо.

— Дэвид

@ Дэвид, просто любопытно: что такое приложение?

— кардинал

Длинная история. Я пытаюсь доказать нижнюю границу для времени смешивания цепи Маркова, которую я приготовил, чтобы проанализировать время работы интересующего меня алгоритма - который, как оказалось, сводится к нижней границе c .коллекторная проблема. Кстати, я пытался найти именно этот вид черновского стиля, но не понял, как избавиться от этого продукта в . Хороший выбор колла :-).

i

$i$

s = 1 / n

$s = 1/n$

— Дэвид

@ Дэвид, , хотя почти наверняка неоптимальный, казалось очевидной вещью, которую нужно попробовать, поскольку это дало , то есть тот же термин, что и термин, полученный при выводе для верхняя граница.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— кардинал

1

Запрос : Доказательство, которое я дал выше, принадлежит мне. Я работал над этим из удовольствия, так как проблема заинтриговала меня. Однако я не претендую на новизну. В самом деле, я не могу представить, что подобное доказательство, использующее подобную технику, еще не существует в литературе. Если кто-нибудь знает ссылку, пожалуйста , оставьте ее в качестве комментария здесь. Мне было бы очень интересно узнать об этом.

— кардинал

9

Хотя @cardinal уже дал ответ, который дает именно ту оценку, которую я искал, я нашел похожий аргумент в стиле Черноффа, который может дать более сильную оценку:

Предложение : (это сильнее для )

п р (Т \leq N журнал N - с N) \leq ехр (- \frac{3 с^{2}}{π^{2}}),

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Доказательство :

Как и в ответе @ cardinal, мы можем использовать тот факт, что является суммой независимых геометрических случайных величин с вероятностями успеха . Отсюда следует, что и . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Определите теперь новые переменные и . Затем мы можем написать $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (Т \leq N журнал N - с N) \leq Pr (Т \leq Е [Т] - с N) знак равно Pr (S \leq - с N)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

знак равно Pr (ехр (- s S) \geq ехр (s с N)) \leq е^{- s с N} Е [е^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Вычисляя средние, мы имеем

Е [е^{- s S}] знак равно \underset{я}{Π} Е [е^{- s S_{я}}] знак равно \underset{я}{Π} \frac{е^{s / п_{я}}}{1 + \frac{1}{п_{я}} (е^{s} - 1)} \leq е^{\frac{1}{2} s^{2} \underset{я}{Σ} п_{я}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ где неравенство следует из фактов, что а также для .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Таким образом, поскольку , мы можем написать $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (Т \leq N журнал N - с N) \leq е^{\frac{1}{12} (N π s)^{2} - s с N}, \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

Минимизируя при , мы наконец получаем $s>0$

Pr (Т \leq N журнал N - с N) \leq е^{- \frac{3 с^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— Дэвид
источник

1

(+1) По модулю пару мелких опечаток, это приятно. Расширение вокруг чего-то близкого к среднему, как вы это сделали, часто работает лучше. Я не удивлен, увидев сходимость более высокого порядка в свете асимптотических результатов. Теперь, если вы показываете подобную верхнюю границу, это доказывает, что является субэкспоненциальным в терминологии Вершинина, что имеет много значений в отношении концентрации меры.

(T - n \log n) / n

$(T-n\log n)/n$

— кардинал

1

Аргумент, кажется, не обобщается непосредственно на верхнюю границу. Заменив на (и на ), можно проделать те же самые шаги до момента вычисления . Однако на данный момент лучшее, что я могу сделать, - это использовать , который все еще оставляет и я надеваю не знаю, что с этим делать

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

Е [е^{s S}] \leq е^{\frac{1}{2} s^{2} \underset{я}{Σ} \frac{п_{я}^{2}}{(1 - s / п_{я})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— Дэвид

2

Интересно, однако, что весь аргумент (для нижней границы), кажется, работает не только для задачи сборщика купонов, но и для любой суммы неидентичных, независимых геометрических переменных с ограниченной дисперсией. В частности: задано , где каждый является независимым GV с вероятностью успеха , и где , затем

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (Т \leq Е [Т] - a) \leq е^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— Дэвид

4

Важное примечание : я решил удалить доказательство, которое я дал изначально в этом ответе. Это было длиннее, более вычислительно, использовало большие молотки и показало более слабый результат по сравнению с другим доказательством, которое я дал. Все вокруг, плохой подход (на мой взгляд). Если вам действительно интересно, я полагаю, вы можете посмотреть изменения.

Асимптотические результаты, которые я первоначально процитировал и которые все еще находятся ниже в этом ответе, показывают, что при мы можем сделать немного лучше, чем оценка, доказанная в другом ответе, который справедлив для всех . $n \to \infty$ $n$

Следующие асимптотические результаты имеют место

п (Т > N журнал N + с N) \to 1 - е^{- е^{- с}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

и

п (Т \leq N журнал N - с N) \to е^{- е^{с}},

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

Константа и пределы взяты как . Обратите внимание, что, хотя они разделены на два результата, они в значительной степени совпадают с результатами, так как не обязательно должен быть неотрицательным в любом случае. $c \in \mathbb{R}$ $n \to \infty$ $c$

См., Например, Motwani and Raghavan, Randomized Algorithms , pp. 60--63 для доказательства.

Также : Дэвид любезно предоставил доказательство своей заявленной верхней границы в комментариях к этому ответу.

— кардинальный
источник

Да, это верно для каждого фиксированного . (Очень простое) доказательство можно найти, например, в книге Левина, Переса и Вильмера «Цепи Маркова и времена смешивания», предложение 2.4. Однако доказательство не работает для нижней границы.

n

$n$

— Дэвид

1

Фактически, я мог бы также переписать доказательство здесь: «Пусть будет событием, когда тый [купонный] тип не появляется среди первых нарисованных купонов. Заметим сначала, что . Так как каждое испытание имеет вероятность не получить купон а испытания независимы, правая часть сверху ограничена сверху как , доказывая (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— Дэвид

@ Давид, это мило и достаточно просто. Я быстро поиграл с расширением формулы включения-исключения другим термином, но быстро никуда не попал и не успел посмотреть дальше. Событие эквивалентно тому, что после испытаний не осталось купонов . С этим должен быть связан мартингейл. Вы пробовали неравенство Хеффдинга на (предполагаемом) ассоциированном мартингале? Асимптотический результат предполагает сильную меру концентрации.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— кардинал

@ Дэвид, в твоем доказательстве есть перевернутый знак, но я уверен, что это очевидно и для других читателей.

— кардинал

@ Дэвид, пожалуйста, смотрите мой другой ответ на ваш вопрос. Метод отличается от верхней границы, которую вы даете, но используемые инструменты почти такие же элементарные, в отличие от ответа, который я дал здесь.

— кардинал

2

Бенджамин Доерр дает (в главе «Анализ эвристики рандомизированного поиска: инструменты из теории вероятностей» в книге «Теория эвристики рандомизированного поиска», см. Ссылку на онлайн-PDF) несколько простое доказательство

Предложение Пусть будет временем остановки процесса получения купона. Тогда . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Это, кажется, дает желаемую асимптотику (из второго ответа @ cardinal), но с преимуществом истинности для всех и . $n$ $\epsilon$

Вот примерный набросок.

Доказательство Эскиз: Пусть будет событием , что -й купон собираются в первом розыгрышей. Таким образом, . Ключевым фактом является то, что имеют отрицательную корреляцию для любого , . Наглядно это достаточно понятно, так как , зная , что -ый купон в первом черпает бы сделать это менее вероятно , что -го купона также обращается в первую розыгрышах. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Можно доказать это утверждение, но увеличив набор на 1 на каждом шаге. Тогда она сводится к показывая , что , для . Эквивалентно, путем усреднения это сводится к тому, чтобы показать, что . Doerr только дает интуитивный аргумент для этого. Один из способов доказательства заключается в следующем. Можно заметить, что при условии наличия купона после всех купонов в , что вероятность получения нового купона от после получения до настоящего времени теперь равна , вместо предыдущего $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Таким образом, разлагая время, чтобы собрать все купоны как сумму геометрических случайных величин, мы можем видеть, что обусловливание на -компоненте, наступающем после того, как увеличивает вероятности успеха, и, следовательно, выполнение кондиционирования только повышает вероятность сбора купонов раньше ( стохастическим доминированием: каждая геометрическая случайная переменная увеличивается в терминах стохастического доминирования посредством обусловленности, и это доминирование может затем применяться к сумме). $j$ $I$

Учитывая эту отрицательную корреляцию, отсюда следует, что , что дает желаемая граница с . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
источник