Сумма произведений случайных величин Радемахера

$x_1 \ldots x_a,y_1 \ldots y_b$$+1$$-1$$S = \sum_{i,j} x_i\times y_j$$P(|S| > t)$$2e^{-\frac{ct}{\max(a,b)}}$$c$универсальная константа. Это достигается путем ограничения вероятности $Pr(|x_1 + \dots + x_n|<\sqrt{t})$ и $Pr(|y_1 + \dots + y_n|<\sqrt{t})$ путем применения простых черновских оценок. Могу ли я надеяться получить что-то, что значительно лучше, чем этот предел? Для начала я могу хотя бы получить $e^{-c\frac{t}{\sqrt{ab}}}$ . Если я смогу получить субгауссовые хвосты, которые, вероятно, будут лучшими, но можем ли мы ожидать этого (я так не думаю, но не могу придумать аргумента)?

Алгебраическое отношение

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

показывает как произведение двух независимых сумм. Поскольку и являются независимыми переменными Бернулли , является биномиальной переменной, которая был удвоен и сдвинут. Следовательно, его среднее значение равно а его дисперсия равна . Точно так же имеет среднее значение и дисперсию . Давайте стандартизировать их прямо сейчас, определив( х я + 1 ) / 2 ( у J + 1 ) / 2 ( 1 / 2 ) Х = Σ я = 1 х я ( , 1 / 2 ) $S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$ Y = Σ б J = 1 у J 0 $a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

откуда

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

С высокой (и поддающейся количественной оценке) степенью точности увеличении приближается к стандартному нормальному распределению. Поэтому давайте приблизим как умноженное на произведение двух стандартных нормалей.х а с √$a$$X_a$$S$$\sqrt{ab}$

Следующим шагом будет заметить, что

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

кратно разности квадратов независимых стандартных нормальных величин и . Распределение может быть вычислено аналитически (путем обращения характеристической функции ): его pdf пропорционально функции Бесселя нулевого порядка, . Поскольку эта функция имеет экспоненциальные хвосты, мы сразу же заключаем, что для больших и и фиксированного нет лучшего приближения к чем дано в вопросе.V Z a b K 0 ( | z | ) / π a b t Pr a , b ( S > t )$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

Существует некоторая возможность для улучшения, когда один (по крайней мере) из и невелик или в точках в хвосте близких к . Прямые расчеты распределения показывают искривленное сужение вероятностей хвоста в точках, намного превышающих , примерно за . Эти логарифмические графики CDF для для различных значений (приведены в заголовках) и (примерно одинаковые с , различаются по цвету на каждом графике) показывают, что происходит. Для справки, график предельногоb S ± a b S $a$$b$$S$$\pm a b$$S$$\sqrt{ab}$ SabaK0S0Pr(S>t)=Pr(-S<-t$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$распределение показано черным. (Поскольку симметрично относительно , , поэтому достаточно взглянуть на отрицательный хвост.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

По мере увеличения CDF становится ближе к контрольной линии.$b$

Для характеристики и количественной оценки этой кривизны потребуется более тщательный анализ нормального приближения к биномиальным переменным.

Качество приближения функции Бесселя становится более ясным в этих увеличенных частях (в верхнем правом углу каждого графика). Мы уже довольно далеко в хвостах. Хотя логарифмическая вертикальная шкала может скрывать существенные различия, ясно, что к тому времени, когда достигло приближение хорошо для .500 | S | < $a$$500$$|S| \lt a\sqrt{b}$

---

R код для расчета распределения$S$

Следующее выполнение займет несколько секунд. (Он вычисляет несколько миллионов вероятностей для 36 комбинаций и .) На более медленных машинах пропустите большее одно или два значения и и увеличьте нижний предел построения графика с до .б 10 - 300 10 - $a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Комментарий: я отредактировал заголовок, чтобы лучше отразить, какие типы rv рассматриваются в этом вопросе. Любой, не стесняйтесь отредактировать.

Мотивация: я думаю, что нет необходимости соглашаться на верхнюю границу, если мы можем получить распределение, ( ОБНОВЛЕНИЕ : Мы не можем видеть комментарии и ответ Уубера).$|S_{ab}|$

Обозначим . Легко проверить , что «s имеют такое же распределение, что » с и «s. Генерирующая функция моментаZ X $Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Кроме того, , для начала, попарно независимы: переменная (индексы могут быть любыми, конечно), имеет поддержку с соответствующими вероятностями . Его генерирующая момент функцияW = Z 1 + Z 2 { - 2 , 0 , 2 } { 1 / 4 , 1 / 2 , 1 / 4 $Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

Я попытаюсь заподозрить, что полная независимость имеет место, следующим образом (это очевидно для более мудрых?): Для этой части обозначим . Тогда по правилу цепочки P [ Z Ь , . , , , Z 11 ] = Р [ Z б | Z , б - 1 , . , , , Z 11 ] ⋅ . , , ⋅ P [ Z 13 ∣ Z 12 , Z 11 ] ⋅ P $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

В силу парной независимости . Рассмотрим . и являются независимыми условными для поэтому мы имеем второе равенство по попарной независимости. Но это подразумевает, чтоP [ Z 13 , Z 12 ∣ Z 11 ] Z 13 Z $P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$ P [ Z 13 ∣ Z 12 , Z 11 ] = P [ Z 13 ∣ Z 11 ] = P [ Z 13$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

И т. Д. (Я думаю). ( ОБНОВЛЕНИЕ : я думаю, что неправильно . Независимость, вероятно, справедлива для любого триплета, но не для всей группы. Так что следует лишь вывод распределения простого случайного блуждания, а не правильный ответ на вопрос - см. Wolfies 'и Уубер отвечает).

Если полная независимость действительно имеет место, у нас есть задача получить распределение суммы iid дихотомических rv

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

которая выглядит как простая случайная прогулка , хотя и без четкой интерпретации последней как последовательности.

Если поддержка будет четными целыми числами в включая ноль, тогда как если поддержка будет нечетными целыми числами в , без нуля. S [ - Ь , . , , , Ь ] б = уплотнительное d d S [ - а Ь , . , , , Б $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

Рассмотрим случай . Обозначим как число , принимающих значение . Тогда носитель можно записать в виде . Для любого , мы получим уникальное значение для . Более того, из-за симметричных вероятностей и независимости (или просто взаимозаменяемости ?) Все возможные совместные реализации переменных равновероятны. Поэтому мы считаем , и мы находим , что функция вероятности массы есть$ab=odd$
$m$$Z$$-1$$S$$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

Определив , и нечетное число по построению, и типичный элемент поддержки , мы имеем$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Переезд в, поскольку, если , распределение симметрично относительно нуля без распределения массы вероятности до нуля, поэтому распределениеполучается путем "сворачивания" графика плотности вокруг вертикальной оси, по существу, удваивая вероятности для положительных значений,$|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Тогда функция распределения

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Поэтому для любого действительного , , получаем требуемую вероятность $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

Обратите внимание, что указание гарантирует, что сумма будет работать только до значений, включенных в поддержку- например, если мы установим , все равно буду работать до , так как он должен быть нечетным, а не целым числом.$i=odd$$|S|$$t=10.5$$i$$9$

Не ответ, но комментарий на интересный ответ Алекоса, который слишком длинный, чтобы поместиться в поле для комментариев.

Пусть независимые случайные величины Радемахера, и пусть независимые случайные величины Радемахера. Алекос отмечает, что:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

«… Выглядит как простое случайное блуждание ». Если бы это было похоже на простое случайное блуждание, то распределение было бы симметричным «колоколообразным унимодальным» вокруг 0.$S$

Чтобы проиллюстрировать, что это не простая случайная прогулка, вот краткое сравнение Монте-Карло:

• Треугольные точки: моделирование методом Монте-Карло pmf для учетом иa = 5 b = $S$$a = 5$$b = 7$
• круглые точки: симуляция Монте-Карло простого случайного блуждания с шагами$n = 35$

Ясно, что не простая случайная прогулка; Также обратите внимание, что S не распространяется на все четные (или нечетные) целые числа.$S$

Монте-Карло

Вот код (в Mathematica ), используемый для генерации одной итерации суммы , заданной и :a $S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Затем 500 000 таких путей, скажем, когда и , могут быть сгенерированы с помощью:б = $a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

Домен поддержки для этой комбинации и :$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}