Обратный Чернов

Существует ли обратная граница Черноффа, определяющая, что вероятность хвоста хотя бы так велика?

т.е. если являются независимыми биномиальными случайными переменными и . Тогда мы можем доказать для некоторой функции .$X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

Вот явное доказательство того, что стандартная оценка Чернова тесно связана с постоянными множителями в показателе степени для определенного диапазона параметров. (В частности, всякий раз, когда переменные равны 0 или 1, и 1 с вероятностью 1/2 или меньше, и $\epsilon\in(0,1/2)$ , а верхняя граница Чернова меньше константы.)

Если вы нашли ошибку, пожалуйста, дайте мне знать.

Лемма 1. (теснота границы Чернова). Пусть $X$ - среднее значение $k$ независимых 0/1 случайных величин (rv). Для любых $\epsilon\in(0,1/2]$ и $p\in(0,1/2]$ , предполагая, что $\epsilon^2 p k \ge 3$ ,

(i) Если каждый rv равен 1 с вероятностью не более $p$ , то

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Если каждый rv равен 1 с вероятностью не менее $p$ , то

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Доказательство. Мы используем следующее наблюдение:

Утверждение 1. Если , то $1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Доказательство утверждения 1. В приближении Стирлинга где$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Таким образом, , который является , по крайней мере, QED$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Доказательство леммы 1 часть (i). Без ограничения общности предположим, что каждая 0/1 случайная величина в сумме равна 1 с вероятностью ровно . Примечание. равно сумме , и .$X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Исправьте . Слагаемые в сумме растут, поэтому каждый член с индексом имеет значение не менее , поэтому их сумма имеет суммарное значение не менее . Для завершения доказательства покажем, что $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Предположения и дают , поэтому левая часть выше по крайней мере . Используя пункт 1, чтобы ограничить , это в свою очередь, по крайней мере, где и $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$$\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$$A\, B$$A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Чтобы закончить, мы показываем и .$A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Утверждение 2. $A \ge \exp({-\epsilon^2 pk})$

Доказательство утверждения 2. Предположения и подразумевают (i) .$\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

По определению, . По (i) . Таким образом, (ii) .$\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

Подстановка правой части (ii) для в дает (iii) .$\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

Предположение подразумевает , что с помощью (iii) дает (iv) .$\epsilon^2 pk \ge 3$$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

Из следует, что (v) .$\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) и (v) вместе дают иск. QED

Утверждение 3. .$B\ge \exp({-8\epsilon^2 pk})$

Доказательство утверждения 3. Зафиксируйте , чтобы . Выбор подразумевает , поэтому утверждение будет выполняться до тех пор, пока . Принимая каждую сторону этого последнего неравенства в степень и упрощая, оно эквивалентно Подставляя и упрощая, он эквивалентен $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Если взять логарифм обеих сторон и дважды использовать , он будет держаться до тех пор, пока Левая часть выше упрощается до , что меньше потому что , QED$\ln(1+z)\le z$ $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

Утверждения 2 и 3 подразумевают . Это подразумевает часть (i) леммы.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Доказательство леммы 1 ч. (Ii). Без ограничения общности предположим, что каждая случайная величина равна с вероятностью ровно .$1$$p$

Примечание . Исправьте .$\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Последние члены в общей сумме не менее , что не менее . (Доказательство тому же, что и для (i), за исключением того, что заменяется на а заменяется на , так что .) КЭД$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

Теорема Берри-Эссеена может дать нижние оценки вероятности хвоста, если они выше, чем .$n^{-1/2}$

Еще один инструмент, который вы можете использовать, это неравенство Пейли-Зигмунда . Это означает, что для любого четного целого числа и любой действительной случайной величины ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Вместе с полиномиальной теоремой для сумма случайных величин rademacher Пейли-Зигмунда может дать вам довольно сильные нижние оценки. Также он работает со случайными переменными с ограниченной независимостью. Например, вы легко получаете, что сумма 4-независимых независимых переменных равна с постоянной вероятностью.$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Если вы действительно в порядке с ограничивающими суммами испытаний Бернулли (а не, скажем, ограниченных случайных величин), то следующее довольно трудное.

Неравенство Слуда *. Пусть это ничья из розыгрыша Бернулли с , и пусть задано целое число . Если либо (a) и , либо (b) , то где - это cdf стандартного нормали.$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Рассматривая аргумент как преобразование стандартной нормали, это в точности соответствует тому, что говорит вам CLT; фактически, он говорит нам, что биномы, удовлетворяющие условиям теоремы, будут доминировать над соответствующими им гауссианами на верхних хвостах.)$\Phi$

Отсюда вы можете использовать границы чтобы получить что-то более приятное. Например, в первой книге Феллера в разделе о гауссианах для каждого показано, что где - плотность стандартной нормали. В статье в Википедии есть аналогичные оценки и для «Q-функции».$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Помимо этого, и того, что говорили другие люди, вы также можете попробовать использовать Бином непосредственно, возможно, с каким-нибудь Стирлингом.

(*) Некоторые более новые утверждения о неравенстве Слуда исключают некоторые из этих условий; Я воспроизвел один в статье Слуда.

Теорема де Муавра-Лапласа показывает, что переменные типапосле соответствующей нормализации и при определенных условиях сойдутся в распределении к нормальному распределению. Этого достаточно, если вы хотите постоянные нижние границы.$|T\cap S_1|$

Для нижних границ, таких как , вам понадобится немного более тонкий инструмент. Вот одно упоминание, о котором я знаю (но только случайно - у меня никогда не было возможности использовать такое неравенство самостоятельно). Некоторые явные нижние оценки вероятностей хвостов биномиальных распределений приведены в виде теоремы 1.5 книги Случайные графы Белы Боллобаса, Кембридж, 2-е издание, где даны дополнительные ссылки на Введение в вероятность и ее применения Феллера и Основы вероятности Рени.$n^{-c}$

Обобщенная теорема Литтлвуда-Оффорда не совсем то, что вам нужно, но она дает то, что я считаю «обратной черновской» границей, показывая, что сумма случайных величин вряд ли попадет в небольшой диапазон вокруг какого-либо конкретного значения (включая ожидание). Возможно, это будет полезно.

Формально теорема состоит в следующем.

Обобщенная теорема Литтлвуда-Оффорда : Пусть и - такие действительные числа, что для и пусть - независимые случайные величины со значениями ноль и единица. Предположим, что для для всех . Тогда для любого , где - константа, зависящая только от .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Показатель степени в стандартной границе Черноффа, как это указано в Википедии, является жестким для 0/1-значных случайных величин. Пусть а - последовательность независимых случайных величин, такая что для каждого , и . Тогда для любого , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Здесь , что является дивергенцией Кульбака-Лейблера между случайными значениями Бернулли переменные с параметрами и .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Как уже упоминалось, верхняя граница в неравенстве выше доказана в Википедии ( https://en.wikipedia.org/wiki/Chernoff_bound ) под названием «Теорема Чернова-Хеффдинга, аддитивная форма». Нижняя граница может быть доказана с помощью, например, «метода типов». См. Лемму II.2 в [1]. Кроме того, это описано в классическом учебнике по теории информации, написанном Кавером и Томасом.

[1] Имре Цишар: метод типов. IEEE Труды по теории информации (1998). http://dx.doi.org/10.1109/18.720546