Анализ шаров и бинов в режиме

$m$ $n$ $m \gg n$ $X_i$ $i$ $X_\max$ $X_\min$ $X_{\mathrm{sec-max}}$ $X_i - X_j \sim N(0,2m/n)$ $|X_i - X_j| = \Theta(\sqrt{m/n})$ $i,j$ $X_{\max} - X_{\min} = O(\sqrt{m\log n/n})$ $n/2$ пары непересекающихся корзин. Этот (не совсем формальный) аргумент заставляет нас ожидать, что разрыв между и является с высокой вероятностью. $X_{\max}$ $X_{\min}$ $\Theta(\sqrt{m\log n/n})$

Меня интересует разрыв между и . Приведенный выше аргумент показывает, что с большой вероятностью, но фактор кажется посторонним , Известно ли что-нибудь о распределении ? $X_\max$ $X_{\mathrm{sec-max}}$ $X_\max - X_{\mathrm{sec-max}} = O(\sqrt{m\log n/n})$ $\sqrt{\log n}$ $X_\max - X_{\mathrm{sec-max}}$

В более общем случае, предположим, что каждый мяч связан с неотрицательным счетом для каждого бина, и нас интересует общий счет каждого бина после броска шаров. Обычный сценарий соответствует оценкам вида . Предположим, что распределение вероятностей оценок является инвариантным при перестановке бинов (в обычном сценарии это соответствует тому факту, что все бины равновероятны). Учитывая распределение оценок, мы можем использовать метод первого абзаца, чтобы получить хорошую оценку . Граница будет содержать коэффициент $m$ $(0,\ldots,0,1,0,\ldots,0)$ $X_{\max} - X_{\min}$ $\sqrt{\log n}$ это происходит от границы объединения (через хвостовые вероятности нормальной переменной). Можно ли уменьшить этот фактор, если мы заинтересованы в ограничении ? $X_{\max} - X_{\mathrm{sec-max}}$

reference-request pr.probability

— Юваль Фильмус
источник

Каждый счет в [0,1]?

— Нил Янг

Это не имеет большого значения, вы всегда можете масштабировать его так, чтобы оно было в

[0, 1]

$[0,1]$ .

— Юваль Фильмус

Ответы:

Ответ: $\Theta\left(\sqrt{\frac{m}{n\log n}}\right)$ .

Применяя многомерный вариант центральной предельной теоремы, мы получаем, что вектор имеет асимптотически многомерное гауссово распределение с $(X_1,\dots, X_n)$ и Ниже мы будем предполагать, чтоявляетсягауссовским вектором (а не только приблизительно гауссовским вектором). Добавим гауссовскую случайную величинус дисперсиейко всем(не зависит от всех). То есть пусть

V a r [X_{i}] = m (\frac{1}{n} - \frac{1}{n^{2}}),

$\mathrm{Var}[X_i] = m\left(\frac{1}{n} - \frac{1}{n^2}\right),$

C o v (X_{i}, X_{j}) = - m / n^{2} .

$\mathrm{Cov}(X_i, X_j) = -m/n^2.$

X

$X$

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

Z

$Z$

X_{i}

$X_i$

Мы получаем гауссов вектор

. Теперь у каждого

есть дисперсия

(\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}) = (\begin{matrix} X_{1} + Z \\ X_{2} + Z \\ ⋮ \\ X_{n} + Z \end{matrix}) .

$\begin{pmatrix} Y_1\\Y_2\\ \vdots\\Y_n \end{pmatrix} = \begin{pmatrix} X_1+Z\\X_2+Z\\ \vdots\\X_n +Z \end{pmatrix}.$

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

и все

независимы:

V a r [Y_{i}] = V a r [X_{i}] + \underset{= 0}{\underset{⏟}{2 C o v (X_{i}, Z)}} + V a r [Z] = m / n,

$\mathrm{Var}[Y_i] = \mathrm{Var}[X_i] + \underbrace{2\mathrm{Cov}(X_i,Z)}_{=\, 0}+\mathrm{Var}[Z] = m/n,$

Y_{i}

$Y_i$

C o v (Y_{i}, Y_{j}) = C o v (X_{i}, X_{j}) + \underset{= 0}{\underset{⏟}{C o v (X_{i}, Z) + C o v (X_{j}, Z)}} + C o v (Z, Z) = 0.

$\mathrm{Cov}(Y_i, Y_j) = \mathrm{Cov}(X_i, X_j) + \underbrace{\mathrm{Cov}(X_i,Z) + \mathrm{Cov}(X_j,Z)}_{=\, 0} +\mathrm{Cov}(Z, Z) = 0.$

Обратите внимание, что . Таким образом, наша исходная задача эквивалентна задаче нахождения . Сначала для простоты проанализируем случай, когда все имеют дисперсию . $Y_i - Y_j = X_i - X_j$ $Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}$ $Y_i$ $1$

Проблема. Нам дано независимых гауссовских rv со средним и дисперсией . Оценить ожидание . $n$ $\gamma_1,\dots, \gamma_n$ $\mu$ $1$ $\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}$

Ответ: . $\Theta\left(\frac{1}{\sqrt{\log n}}\right)$

Неофициальное доказательство. Вот неофициальное решение этой проблемы (не трудно сделать это формальным). Поскольку ответ не зависит от среднего, мы предполагаем, что . Пусть , где . Имеем (при умеренно большом ) $\mu = 0$ $\bar\Phi(t) = \Pr[\gamma > t]$ $\gamma\sim{\cal N}(0,1)$ $t$

\bar{Φ} (t) \approx \frac{1}{\sqrt{2 π} t} e^{- \frac{1}{2} t^{2}} .

$\bar\Phi(t)\approx \frac{1}{\sqrt{2\pi}t} e^{-\frac{1}{2}t^2}.$

Обратите внимание, что

равномерно и независимо распределены на , $\Phi(\gamma_i)$ $[0,1]$
является наименьшим среди , $\Phi(\gamma_{\mathrm{max}})$ $\Phi(\gamma_i)$
является вторым наименьшим среди . $\Phi(\gamma_{\mathrm{sec-max})}$ $\Phi(\gamma_i)$

$\Phi(\gamma_{\mathrm{max}})$ $1/n$ $\Phi(\gamma_{\mathrm{max}})$ $2/n$ $\bar\Phi(t)$

2 \approx \bar{Φ} (γ_{s e c - m a x}) / \bar{Φ} (γ_{m a x}) \approx e^{\frac{1}{2} (γ_{m a x}^{2} - γ_{s e c - m a x}^{2})} .

$2\approx \bar\Phi(\gamma_{\mathrm{sec-max}})\left/\bar\Phi(\gamma_{\mathrm{max}})\right. \approx e^{\frac{1}{2}\left(\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2\right)}.$

$\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2$ $\Theta(1)$ $\gamma_{\mathrm{max}}\approx \gamma_{\mathrm{sec-max}} = \Theta(\sqrt{\log n})$

γ_{m a x} - γ_{s e c - m a x} \approx \frac{Θ (1)}{γ_{m a x} + γ_{s e c - m a x}} \approx \frac{Θ (1)}{\sqrt{\log n}} .

$\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}\approx \frac{\Theta(1)}{\gamma_{\mathrm{max}} + \gamma_{\mathrm{sec-max}}} \approx \frac{\Theta(1)}{\sqrt{\log n}}.$

QED

We get that

\begin{aligned} E [X_{m a x} - X_{s e c - m a x}] & = E [Y_{m a x} - Y_{s e c - m a x}] \\ = \sqrt{V a r [Y_{i}]} \times E [γ_{m a x} - γ_{s e c - m a x}] = Θ (\sqrt{\frac{m}{n \log n}}) . \end{aligned}

$\begin{align} \mathbb{E}[{X_{\mathrm{max}} - X_{\mathrm{sec-max}}}] &= \mathbb{E}[{Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}}] \\ &= \sqrt{\mathrm{Var}[Y_i]} \times\mathbb{E}[{\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}}] = \Theta\left(\sqrt{\frac{m}{n\log n}}\right). \end{align}$

The same argument goes through when we have arbitrary scores. It shows that
$E [X_{m a x} - X_{s e c - m a x}] = c E [X_{m a x} - X_{m i n}] / \log n .$ $\mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{sec-max}}] = c\, \left. \mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{min}}]\right/\log n.$

— Yury
источник

Thanks! I'll remember to try the multivariate Gaussian approximation next time.

— Yuval Filmus

Yury, you wrote "Let us add a Gaussian vector

Z

$Z$ with variance

m / n^{2}

$m/n^2$ to all

X_{i}

$X_i$ . We get a Gaussian vector

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$ . Now each

Y_{i}

$Y_i$ has variance

m / n

$m/n$ and all

Y_{i}

$Y_i$ are not correlated... Note that

Y_{i} - Y_{j} = X_{i} - X_{j}

$Y_i - Y_j = X_i - X_j$ ." Can you expand on this part? Is

Z_{i} = Z_{j}

$Z_i = Z_j$ ? If the

X_{i}

$X_i$ 's are dependent, and the

Z_{i}

$Z_i$ 's are independent (or uniformly the same), how can the

Y_{i}

$Y_i$ 's be independent? (Seems like a neat trick but I don't understand it.) Thanks.

— Neal Young

@NealYoung, yes, if we have variables

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$ with negative pairwise correlation and all covariances

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$ are equal, then we can add a single new random variable

Z

$Z$ to all

X_{i}

$X_i$ such that the sums are independent. Also, if the variables have positive correlation and again all covariances

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$ are equal then we can subtract a single r.v.

Z

$Z$ from all of them so that all the differences are independent; but now

Z

$Z$ is not independent from

X_{i}

$X_i$ but rather

Z = α (X_{1} + \dots + X_{n})

$Z=\alpha (X_1 + \dots+X_n)$ for some scaling parameter

α

$\alpha$ .

— Yury

Ah I see. at least algebraically, all it rests on is the pairwise independence of Z and each

X_{i}

$X_i$ . very cool.

— Suresh Venkat

This argument now appears (with attribution) in an EC'14 paper: dl.acm.org/citation.cfm?id=2602829.

— Yuval Filmus

For your first question, I think you can show that w.h.p. $X_{\max}-X_{\textrm{sec-max}}$ is

o (\sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}}) .

$o\left(\sqrt{\frac{m}{n}\frac{\log^2\log n}{\log n}}\right).$ Note that this is

o (\sqrt{m / n})

$o(\sqrt{m/n})$ .

Compare your random experiment to the following alternative: Let $X_1$ be the maximum load of any of the first $n/2$ buckets. Let $X_2$ be the maximum load of any of the last $n/2$ buckets.

On consideration, $|X_1-X_2|$ is an upper bound on $X_{\max}-X_{\mathrm{sec-max}}$ . Also, with probability at least one half, $|X_1-X_2| = X_{\max}-X_{\mathrm{sec-max}}$ . So, speaking roughly, $X_{\max}-X_{\mathrm{sec-max}}$ is distributed similarly to $|X_1-X_2|$ .

To study $|X_1-X_2|$ , note that with high probability $m/2\pm O(\sqrt m)$ balls are thrown into the first $n/2$ bins, and likewise for the last $n/2$ bins. So $X_1$ and $X_2$ are each distributed essentially like the maximum load when throwing $m' = m/2\pm o(m)$ balls into $n' = n/2$ bins.

This distribution is well-studied and, luckily for this argument, is tightly concentrated around its mean. For example, if $m' \gg n\log^3 n$ , then with high probability $X_1$ differs from its expectation by at most the quantity displayed at the top of this answer [Thm. 1]. (Note: this upper bound is, I think, loose, given Yuri's answer.) Thus, with high probability $X_1$ and $X_2$ also differ by at most this much, and so $X_{\max}$ and $X_{\mathrm{max-sec}}$ differ by at most this much.

Conversely, for a (somewhat weaker) lower bound, if, for any $t$ , say, $\Pr[|X_1-X_2| \ge t] \ge 3/4$ , then $\Pr[X_{\max}-X_{\textrm{sec-max}} \ge t]$ is at least

Pr [| X_{1} - X_{2} | \geq t \land X_{max} - X_{sec-max} = | X_{1} - X_{2} |]

$\Pr\big[|X_1-X_2| \ge t ~\wedge~ X_{\max}-X_{\textrm{sec-max}} = |X_1-X_2|\big]$ which (by the naive union bound) is at least

1 - (1 / 4) - (1 / 2) = 1 / 4.

$1 - (1/4) - (1/2) = 1/4.$ I think this should give you (for example) the expectation of

X_{max} - X_{sec-max}

$X_{\max}-X_{\textrm{sec-max}}$ within a contant factor.

— Neal Young
источник

Looking at Thm. 1, the difference from the expectation is

O (\sqrt{(m / n) \log \log n})

$O(\sqrt{(m/n) \log \log n})$ , and not what you wrote. That's still much better than

O (\sqrt{(m / n) \log n})

$O(\sqrt{(m/n) \log n})$ .

— Yuval Filmus

By Thm. 1 (its 3rd case), for any

ϵ > 0

$\epsilon>0$ , with probability

1 - o (1)

$1-o(1)$ , the maximum in any bin (m balls in n bins) is

\frac{m}{n} + \sqrt{\frac{2 m \log n}{n}} \sqrt{1 - (1 \pm ϵ) \frac{\log \log n}{2 \log n}} .

$\frac{m}{n} +\sqrt{\frac{2m\log n}{n}}\sqrt{1-(1\pm\epsilon) \frac{\log\log n}{2\log n}}.$ By my math (using

\sqrt{1 - δ} = 1 - O (δ)

$\sqrt{1-\delta} = 1 - O(\delta)$ ), the

\pm ϵ

$\pm\epsilon$ term expands to an additive absolute term of

O (ϵ) \sqrt{\frac{m \log n}{n}} \frac{\log \log n}{\log n} = O (ϵ) \sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}} .

$O(\epsilon) \sqrt{\frac{m\log n}{n}}~\frac{\log\log n}{\log n} ~=~O(\epsilon) \sqrt{\frac{m}{n}~\frac{\log^2\log n}{\log n}}.$ What am I doing wrong?

— Neal Young

Ah - I guess you're right. I subtracted inside the square root and that's how I got my figure.

— Yuval Filmus