Каков самый мощный результат о максимуме ид гауссиан? Наиболее используемый на практике?

Учитывая $X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1)$ iid, рассмотрим случайные величины

$$Z_n := \max_{1 \le i \le n} X_i\,.$$

Вопрос: Какой самый «важный» результат для этих случайных величин?

Чтобы прояснить «важность», какой результат имеет большинство других таких результатов как логическое следствие? Какой из результатов чаще всего используется на практике?

Более конкретно, среди (теоретических) статистиков, кажется, есть фольклорные знания о том, что $Z_n$ "в основном такие же, как" $\sqrt{2 \log n}$ , хотя бы асимптотически. (См.Этот связанный вопрос.)

Тем не менее, есть много связанных результатов этого типа, и похоже, что большинство из них не эквивалентны и не подразумевают друг друга. Например , * ,$^*$

$$\frac{Z_n}{\sqrt{2 \log n}} \overset{a.s.}{\to} 1 \,, \tag{1}$$

что, если не что иное, также подразумевает соответствующие результаты в вероятности и распределении.

Тем не менее, это даже не предполагает, по-видимому, также связанные результаты (см. Этот другой вопрос ), как

$$\lim_{n \to \infty} \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} =1 \,, \tag{2}$$

(это упражнение 2.17 на стр. 49 из $\dagger$ ) или другой фольклорный результат :

$$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1) \,. \tag{3}$$

Не асимптотически также известно, что для каждого $n$ (см. Здесь для доказательства),

$$\sqrt{c \log n} \le \mathbb{E}Z_n \le \sqrt{2 \log n} \tag{4}$$

для небольшого $c$ . Подобные результаты также могут быть показаны для $|Z_n|$, поскольку $Z_n$ сильно перекошен.

Доказательство этого последнего результата гораздо проще, чем доказательства других результатов. Я надеялся, что первый асимптотический результат подразумевал бы все другие асимптотические результаты, так что я мог чувствовать себя уверенно, сосредотачивая все свое время и энергию для понимания этого результата. Но, опять же, это, по-видимому, не соответствует действительности , поэтому сейчас мне неясно, на чем я должен сосредоточиться.

$^*$ См. Стр. 265-267 второго издания «Галамбоса»,«Асимптотическая теория статистики экстремальных порядков», напечатанного в 1987 году. Возможно, это также указано где-то в первом издании.

$\dagger$ Бушерон, Лугоши, Массарт,Концентрационные неравенства: неасимптотическая теория независимости. В стороне:Эта книга на самом деле цитирует Galambos для рассматриваемого результата, но я не могу найти упоминание о нем нигде в Galambos - только первый результат, который я упомянул.

В любом вероятностном приложении наиболее фундаментальным объектом является распределение, из которого вытекают моменты и предельные свойства. Следовательно, самый «важный» результат, в том смысле, который вы описали, это полная функция распределения $F_{Z_n}(z) = \Phi^n(z)$ (эквивалентно, соответствующая функция плотности). На практике этот результат распределения, возможно, менее показателен, чем некоторые из основных асимптотических свойств, которые вы уже перечислили. Хотя это логически подразумевает эти асимптотические результаты, на мой взгляд, эти результаты, вероятно, будут более полезными для понимания меняющейся природы экстремального значения при изменении$n$ .

Из вашего вопроса ясно, что вы хорошо понимаете свойства экстремальных значений в случае максимума стандартных нормальных случайных величин IID. Все эти свойства логически выводятся из функции распределения для $Z_n$ , так что это самый фундаментальный объект в этой задаче. Как и во многих случаях, самый фундаментальный объект не обязательно является самым осветительным, и поэтому вы, вероятно, обнаружите, что вам нужно обойтись, зная все результаты и зная, что они освещают различные аспекты проблемы.

WIP: работа в процессе

После р. 370 из 1946 математических методов статистики Крамера , определите

$$\Xi_n = n(1 - \Phi(Z_n)) \,.$$ Здесь$\Phi$ - кумулятивная функция распределения стандартного нормального распределения,$\mathscr{N}(0,1)$ . Как следствие его определения, мы гарантируем, что$0\le \Xi_n \le n$ почти наверняка.

Рассмотрим данную реализацию $\omega \in \Omega$ нашего выборочного пространства. Тогда в этом смысле $Z_n$ является функцией от $n$ и $\omega$ , а $\Xi_n$ является функцией от $Z_n, n$ и $\omega$ . Для фиксированного $\omega$ мы можем считать $Z_n$ детерминированной функцией $n$ , а $\Xi_n$ детерминированной функцией $Z_n$ и $n$ , что упрощает задачу. Мы стремимся показать результаты, которые почти наверняка справедливы для всех $\omega \in \Omega$ , что позволяет нам переносить наши результаты из недетерминированного анализа в недетерминированный сеттинг.

После р. 374 из Крамерских математических методов статистики 1946 года , предположим на данный момент (я собираюсь вернуться и предоставить доказательство позже), что мы можем показать, что (для любого заданного $\omega \in \Omega$ ) справедливо следующее асимптотическое разложение (используя интегрирование по частям и определение $\Phi$ ):

$$\frac{\sqrt{2\pi}}{n}\Xi_n = \frac{1}{Z_n}e^{-\frac{Z_n^2}{2}}\left( 1 + O \left( \frac{1}{Z_n^2} \right) \right) \quad ~~ as ~~ Z_n \to \infty \,. \tag{~}$$

Ясно, что $Z_{n+1} \ge Z_n$ для любого $n$ , и $Z_n$ почти наверняка является возрастающей функцией $n$ при $n\to \infty$ , поэтому в дальнейшем мы утверждаем, что для (почти наверняка всех) фиксированных $\omega$ :

$$Z_n \to \infty \quad \iff \quad n \to \infty \,.$$

Отсюда следует, что имеем (где $\sim$ обозначает асимптотическую эквивалентность ):

$$\frac{\sqrt{2\pi}}{n} \Xi_n \sim \frac{1}{Z_n} e^{-\frac{1}{Z_n^2}} \quad ~~ as ~~ Z_n \to \infty \quad n \to \infty \,.$$

То, как мы поступим в дальнейшем, по существу равнозначно методу доминирующего баланса , и наши манипуляции будут формально оправданы следующей леммой:

Лемма. Предположим, что $f(n) \sim g(n)$ при $n \to \infty$ и $f(n) \to \infty$ (таким образом, $g(n) \to \infty$ ). Тогда, учитывая любую функцию $h$ которая формируется с помощью композиций, сложений и умножений логарифмов и степенных законов (по существу, любой функции « полилога »), мы также должны иметь это при $n \to \infty$ :

$$h(f(n)) \sim h(g(n)) \,.$$ Другими словами, такие функции «полилога»сохраняют асимптотическую эквивалентность.

Истинность этой леммы является следствием теоремы 2.1. как написано здесь . Также обратите внимание, что ниже приводится в основном расширенная (более подробная) версия ответа на похожий вопрос, найденный здесь .

Взяв логарифмы обеих сторон, получим, что:

$$\log ( \sqrt{2\pi} \Xi_n ) - \log n \sim -\log Z_n - \frac{Z_n^2}{2} \,. \tag{1}$$

Это где Крамер несколько ловкий; он просто говорит , что «при условии , $\Xi_n$ ограничена», мы можем заключить , бла - бла - бла. Но показывая, что $\Xi_n$ соответственно ограничен, почти наверняка кажется немного нетривиальным. Кажется, что доказательство этого, по сути, может быть частью того, что обсуждается на стр. 265-267 Галамбоса, но я не уверен, учитывая, что я все еще работаю над пониманием содержания этой книги.

Во всяком случае, предполагая , можно показать , что $\log \Xi_n = o(\log n)$ , то из этого следует (так как $-Z_n^2/2$ Термин доминирует $-\log Z_n$ термин) , что:

$$- \log n \sim - \frac{Z_n^2}{2} \quad \implies \quad Z_n \sim \sqrt{2 \log n} \,.$$

Это несколько приятно, так как это уже большая часть того, что мы хотим показать, хотя, опять же, стоит отметить, что это, по сути, только пинает банку в будущем, так как теперь мы должны показать некоторую определенную почти наверняка ограниченность $\Xi_n$ , С другой стороны, $\Xi_n$ имеет одинаковое распределение для любого максимума iid непрерывных случайных величин, так что это может быть отслеживаемым.

Во всяком случае, если $Z_n \sim \sqrt{2 \log n}$ как, то ясно также можно сделать вывод, что$Z_n \sim \sqrt{2 \log n}(1 + \alpha(n))$для любого$\alpha(n)$который равен$o(1)$при$n \to \infty$. Используя нашу лемму о функциях полилога, сохраняющих асимптотическую эквивалентность выше, мы можем подставить это выражение обратно в$(1)$чтобы получить:

$$\log(\sqrt{2 \pi} \Xi _n)- \log n \sim -\log (1 + \alpha) - \frac{1}{2}\log 2 - \frac{1}{2}\log \log n - \log n - 2 \alpha \log n - \alpha^2 \log n \,.$$

$$\implies -\log(\Xi_n \sqrt{2 \pi}) \sim \log(1 + \alpha) + \frac{1}{2} \log 2 + \frac{1}{2} \log \log n + 2\alpha \log n + \alpha^2 \log n \,.$$

Здесь мы должны пойти еще дальше и предположить, что $\log \Xi_n = o( \log \log n) ~~ as ~~ n \to \infty$ почти наверняка . Опять же , все Крамер говорит, «предполагая , $\Xi_n$ ограничена». Но поскольку все, что можно априори сказать о $\Xi_n$ состоит в том, что $0 \le Xi_n \le n$ as, то вряд ли кажется очевидным, что $\Xi_n = O(1)$ почти наверняка следует иметь , что, по-видимому, является сущностью утверждения Крамера.

But anyway, assuming one believes that, then it follows that the dominant term which does not contain $\alpha$ is $\frac{1}{2} \log \log n$. Since $\alpha = o(1)$, it follows that $\alpha^2 = o(\alpha)$, and clearly $\log ( 1 + \alpha) = o (\alpha) = o(o(\alpha \log n))$, so the dominant term containing $\alpha$ is $2 \alpha \log n$. Therefore, we can rearrange and (dividing everything by $\frac{1}{2}\log\log n$ or $2 \alpha \log n$) find that

$$- \frac{1}{2} \log \log n \sim 2 \alpha \log n \quad \implies \quad \alpha \sim - \frac{\log \log n}{4 \log n} \,.$$

Therefore, substituting this back into the above, we get that:

$$Z_n \sim \sqrt{2 \log n}- \frac{\log\log n}{2 \sqrt{2 \log n}} \,,$$

again, assuming we believe certain things about $\Xi_n$.

We rehash the same technique again; since $Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}}$, then it also follows that

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} (1 + \beta(n)) = \sqrt{2 \log n} \left( 1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) \,,$$

when $\beta(n)=o(1)$. Let's simplify a little before substituting directly back into (1); we get that:

$$\log Z_n \sim \log(\sqrt{2 \log n}) + \underbrace{\log \left(1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) }_{\log(O(1)) = o(\log n)} \sim \log (\sqrt{2 \log n}) \,.$$

$$\frac{Z_n^2}{2} \sim \log n - \frac{1}{2} \log \log n (1 + \beta) + \underbrace{\frac{(\log \log n)^2}{8 \log n} ( 1 \beta)^2}_{o((1+ \beta) \log \log n)} \sim \log n - \frac{1}{2} (1 + \beta) \log \log n \,.$$

Substituting this back into (1), we find that:

$$\log ( \sqrt{2 \pi} \Xi_n) - \log n \sim - \log(\sqrt{2 \log n}) - \log n + \frac{1}{2}(1 + \beta) \log \log n \quad \implies \quad \beta \sim \frac{\log (4 \pi \Xi_n^2)}{\log \log n} \,.$$

Therefore, we conclude that almost surely

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} \left(1 + \frac{\log(4 \pi) + 2 \log( \Xi_n)}{\log \log n} \right)\\ = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{ 2 \sqrt{2 \log n} } - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \,.$$

This corresponds to the final result on p.374 of Cramer's 1946 Mathematical Methods of Statistics except that here the exact order of the error term isn't given. Apparently applying this one more term gives the exact order of the error term, but anyway it doesn't seem necessary to prove the results about the maxima of i.i.d. standard normals in which we are interested.

---

Given the result of the above, namely that almost surely:

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \quad \implies \\ Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} + o(1)\,. \tag{$\dagger$}$$

2. Then by linearity of expectation it follows that:

$$\mathbb{E}Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\mathbb{E}[\log (\Xi_n)]}{\sqrt{2 \log n}} + o(1) \quad \implies \\ \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} = 1 - \frac{\mathbb{E}[\log \Xi_n]}{2 \log n} + o(1) \,.$$

Therefore, we have shown that

$$\lim_{n \to \infty } \frac{\mathbb{E} Z_n}{\sqrt{2 \log n}} = 1 \,,$$

as long as we can also show that

$$\mathbb{E}[\log \Xi_n] = o(\log n) \,.$$

This might not be too difficult to show since again $\Xi_n$ has the same distribution for every continuous random variable. Thus we have the second result from above.

1. Similarly, we also have from the above that almost surely:

$$\frac{Z_n}{\sqrt{2 \log n}} = 1 - \frac{\log(\Xi_n)}{2 \log n} +o(1),.$$

Therefore, if we can show that:

$$\log(\Xi_n) = o(\log n) \text{ almost surely}, \tag{*}$$

then we will have shown the first result from above. Result (*) would also clearly imply a fortiori that $\mathbb{E}[\log (\Xi_n)] = o(\log n)$, thereby also giving us the first result from above.

Also note that in the proof above of ($\dagger$) we needed to assume anyway that $\Xi_n = o(\log n)$ almost surely (or at least something similar), so that if we are able to show ($\dagger$) then we will most likely also have in the process needed to show $\Xi_n = o(\log n)$ almost surely, and therefore if we can prove $(\dagger)$ we will most likely be able to immediately reach all of the following conclusions.

3. However, if we have this result, then I don't understand how one would also have that $\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1)$, since $o(1) \not= \Theta(1)$. But at the very least it would seem to be true that

$$\mathbb{E}Z_n = \sqrt{2 \log n} + O(1) \,.$$

---

So then it seems that we can focus on answering the question of how to show that

$$\Xi_n = o(\log n) \text{ almost surely.}$$

We will also need to do the grunt work of providing a proof for (~), but to the best of my knowledge that is just calculus and involves no probability theory, although I have yet to sit down and try it yet.

First let's go through a chain of trivialities in order to rephrase the problem in a way which makes it easier to solve (note that by definition $\Xi_n \ge 0$):

$$\Xi_n = o(\log n) \quad \iff \quad \lim_{n \to \infty} \frac{\Xi_n}{\log n} = 0 \quad \iff \quad \\ \forall \varepsilon > 0, \frac{\Xi_n}{\log n} > \varepsilon \text{ only finitely many times} \quad \iff \\ \forall \varepsilon >0, \quad \Xi_n > \varepsilon \log n \text{ only finitely many times} \,.$$

One also has that:

$$\Xi_n > \varepsilon \log n \quad \iff \quad n(1 - F(Z_n)) > \varepsilon \log n \quad \iff \quad 1 - F(Z_n) > \frac{\varepsilon \log n}{n} \\ \iff \quad F(Z_n) < 1 - \frac{\varepsilon \log n}{n} \quad \iff \quad Z_n \le \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Correspondingly, define for all $n$:

$$u_n^{(\varepsilon)} = \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Therefore the above steps show us that:

$$\Xi_n = o(\log n) \text{ a.s.} \quad \iff \quad \mathbb{P}(\Xi_n = o(\log n)) = 1 \quad \iff \quad \\ \mathbb{P}(\forall \varepsilon > 0 , \Xi_n > \varepsilon \log n \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon > 0, Z_n \le u_n^{(\varepsilon)} \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) =0 \,.$$

Notice that we can write:

$$\{ \forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} = \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \,.$$

The sequences $u_n^{(\varepsilon)}$ become uniformly larger as $\varepsilon$ decreases, so we can conclude that the events

$$\{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \}$$ are decreasing (or at least somehow monotonic) as $\varepsilon$ goes to $0$. Therefore the probability axiom regarding monotonic sequences of events allows us to conclude that:

$$\mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = \\ \mathbb{P} \left( \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \mathbb{P} \left( \lim_{\varepsilon \downarrow 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \lim_{\varepsilon \downarrow 0} \mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) \,.$$

Therefore it suffices to show that for all $\varepsilon >0$,

$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = 0$$

because of course the limit of any constant sequence is the constant.

Here is somewhat of a sledgehammer result:

Theorem 4.3.1., p. 252 of Galambos, The Asymptotic Theory of Extreme Order Statistics, 2nd edition. Let $X_1, X_2, \dots$ be i.i.d. variables with common nondegenerate and continuous distribution function $F(x)$, and let $u_n$ be a nondecreasing sequence such that $n(1 - F(u_n))$ is also nondecreasing. Then, for $u_n < \sup \{ x: F(x) <1 \}$,

$$\mathbb{P}(Z_n \le u_n \text{ infinitely often}) =0 \text{ or }1$$ according as $$\sum_{j=1}^{+\infty}[1 - F(u_j)]\exp(-j[1-F(u_j)]) < +\infty \text{ or }=+\infty \,.$$

The proof is technical and takes around five pages, but ultimately it turns out to be a corollary of one of the Borel-Cantelli lemmas. I may get around to trying to condense the proof to only use the part required for this analysis as well as only the assumptions which hold in the Gaussian case, which may be shorter (but maybe it isn't) and type it up here, but holding your breath is not recommended. Note that in this case $\omega(F)=+\infty$, so that condition is vacuous, and $n(1-F(n))$ is $\varepsilon \log n$ thus clearly non-decreasing.

Anyway the point being that, appealing to this theorem, if we can show that:

$$\sum_{j=1}^{+\infty}[1 - F(u_j^{(\varepsilon)})]\exp(-j[1-F(u_j^{(\varepsilon)})]) = \sum_{j=1}^{+\infty}\left[ \frac{\varepsilon \log j}{j} \right]\exp(-\varepsilon \log j) = \varepsilon \sum_{j=1}^{+\infty} \frac{ \log j}{j^{1 + \varepsilon}} < + \infty \,.$$

Note that since logarithmic growth is slower than any power law growth for any positive power law exponent (logarithms and exponentials are monotonicity preserving, so $\log \log n \le \alpha \log n \iff \log n \le n^{\alpha}$ and the former inequality can always be seen to hold for all $n$ large enough due to the fact that $\log n \le n$ and a change of variables), we have that:

$$\sum_{j=1}^{+\infty} \frac{\log j}{j^{1 + \varepsilon}} \le \sum_{j=1}^{+\infty} \frac{j^{\varepsilon/2}}{j^{1 + \varepsilon}} = \sum_{j=1}^{+\infty} \frac{1}{j^{1 + \varepsilon/2}} < +\infty \,,$$

since the p-series is known to converge for all $p>1$, and $\varepsilon >0$ of course implies $1 + \varepsilon/2 > 1$.

Thus using the above theorem we have shown that for all $\varepsilon >0$, $\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ i.o.}) = 0$, which to recapitulate should mean that $\Xi_n = o(\log n)$ almost surely.

We need to show still that $\log \Xi_n = o(\log \log n)$. This doesn't follow from the above, since, e.g.,

$$\frac{1}{n} \log n = o(\log n) \,, - \log n + \log \log n \not= o(\log n) \,.$$

However, given a sequence $x_n$, if one can show that $x_n = o( (\log n)^{\delta})$ for arbitrary $\delta >0$, then it does follow that $\log(x_n) = o(\log \log n)$. Ideally I would like to be able to show this for $\Xi_n$ using the above lemma (assuming it's even true), but am not able to (as of yet).