Вероятностные неравенства

Я ищу некоторые вероятностные неравенства для сумм неограниченных случайных величин. Я был бы очень признателен, если кто-нибудь может дать мне некоторые мысли.

Моя задача состоит в том, чтобы найти экспоненциальную верхнюю границу вероятности того, что сумма неограниченных случайных величин iid, которые на самом деле являются умножением двух iid Gaussian, превышает некоторое определенное значение, то есть , где , и генерируются из . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Я попытался использовать границу Черноффа, используя функцию генерирования момента (MGF), полученная граница определяется как:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

где $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ является ФМГ из $X$ . Но граница не такая уж тесная. Основная проблема в моей задаче состоит в том, что случайные величины не ограничены, и, к сожалению, я не могу использовать границу неравенства Хеффдинга.

Я буду счастлив, если вы поможете мне найти какую-то тесную экспоненциальную границу.

— Farzad
источник

Звучит как проблема, связанная со сжатием. Посмотрите заметки Р. Вершинина о неасимптотической теории случайных матриц, в частности, оценки того, что он называет субэкспоненциальными случайными величинами. Это поможет вам начать. Если вам нужно больше указателей, дайте нам знать, и я постараюсь опубликовать дополнительную информацию.

— кардинал

Есть по крайней мере пара связанных вопросов и ответов по этой теме на math.SE (отказ от ответственности: включая тот, в котором я принимал участие).

— кардинал

Продукт

w_{i} v_{i}

$w_i v_i$ имеет «нормальный продукт». Я полагаю, что среднее значение этого продукта равно нулю, а дисперсия

σ^{4}

$\sigma^4$ где

σ^{2}

$\sigma^2$ - дисперсия

w_{i}

$w_i$ и

v_{i}

$v_i$ . Для

N

$N$ largeish, вы можете использовать центральную предельную теорему , чтобы получить приблизительную norality из

X

$X$ . Если вы можете вычислить перекос нормального распределения продуктов, я полагаю, что вы можете применить теорему Берри-Эссеена, чтобы ограничить скорость сходимости CDF.

— Шаббычеф

@shabbychef, Берри-Эссеено имеет довольно медленную сходимость, так как это равномерная оценку по классу всех функций распределения .

F

$F$

— кардинал

@DilipSarwate: Извините, что только сейчас вижу ваш комментарий. Я думаю, что вам может быть интересна следующая небольшая статья, которую я также пару раз связывал по математике. TK Phillips и R. Nelson (1995) . Момент более жесткий, чем у Черноффа для положительного хвоста. вероятности , Американский статистик , том 42, нет. 2. 175-178.

— кардинал

Ответы:

Используя черновскую границу, которую вы предложили для некоторого который будет указан позже, где выполняется второе неравенство благодаря для любого . Теперь возьмите и , правая часть становится что дает для любого . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Другой путь заключается в прямом применении неравенств концентрации, таких как неравенство Хансона-Райта, или неравенств концентрации для гауссовского хаоса порядка 2, который охватывает интересующую вас случайную величину.

Более простой подход без использования функции, генерирующей момент

Для простоты возьмем (в противном случае можно изменить масштаб, разделив на ). $\sigma=1$ $\sigma^2$

Запись и . Вы запрашиваете верхние границы для . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

Пусть, Тогда в зависимости от и не зависит от с с степенями свободы. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

По стандартным оценкам стандартных нормальных и случайных величин Объединение с объединенной границей дает верхнюю границу для вида . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— jlewk
источник

Полученная граница имеет порядок как . Я не думаю , что вы можете сделать гораздо лучше для общего . На странице Википедии о переменных продукта распределение имеет вид где - модифицированная функция Бесселя. Из (10.25.3) в списке функций DLMF , , так что для достаточно больших который не даст вам субгауссову оценку. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
источник