Когда центральная предельная теорема и закон больших чисел не согласны

19

По сути, это повторение вопроса, который я нашел на math.se , который не получил ответов, на которые я надеялся.

Пусть $\{ X_i \}_{i \in \mathbb{N}}$ - последовательность независимых одинаково распределенных случайных величин с $\mathbb{E}[X_i] = 1$ и . $\mathbb{V}[X_i] = 1$

Рассмотрим оценку

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n})

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)$

Этим выражением нужно манипулировать, поскольку обе стороны события неравенства стремятся к бесконечности.

А) ПОПРОБУЙТЕ СУБРАКЦИЮ

Прежде чем рассматривать ограничивающий оператор, вычтите $\sqrt{n}$ с обеих сторон:

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} - \sqrt{n} \leq \sqrt{n} - \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = Φ (0) = \frac{1}{2}

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2}$

последнее равенство по CLT, где $\Phi()$ - стандартная функция нормального распределения.

Б) ПОПРОБУЙТЕ УМНОЖЕНИЕ

Умножьте обе стороны на $1/\sqrt{n}$

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \cdot \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \frac{1}{\sqrt{n}} \cdot \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\lim_{n \to \infty} \mathbb{P}\left(\frac {1}{\sqrt{n}}\cdot \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \frac {1}{\sqrt{n}}\cdot\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^n X_i \leq 1\right)$

= lim_{n \to \infty} P ({\bar{X}}_{n} \leq 1) = lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1

$= \lim_{n \to \infty} \mathbb{P}\left(\bar X_n \leq 1\right) = \lim_{n \to \infty}F_{\bar X_n}(1) = 1$

где $F_{\bar X_n}()$ - это функция распределения среднего значения выборки $\bar X_n$ , которая по LLN сходится по вероятности (а также и по распределению) к константе $1$ , отсюда и последнее равенство.

Таким образом, мы получаем противоречивые результаты. Какой правильный? И почему другой не так?

probability mathematical-statistics asymptotics

— Алекос Пападопулос
источник

1

@JuhoKokkala Конечно, вот оно, math.stackexchange.com/q/2830304/87400 Просто проигнорируйте ошибку ОП.

— Алекос Пападопулос

2

Я думаю, что проблема во втором утверждении, призывающем LLN

— Glen_b

3

Я следил за тобой вплоть до окончательного равенства. Это явно неправильно, потому что мы ожидаем, что будет приближаться к для больших и, следовательно, его предел не должен равняться Каково предполагаемое оправдание этого? Это не утверждение какой-либо версии закона больших чисел, которую я знаю.

P ({\bar{X}}_{n} \leq 1)

$\mathbb{P}(\bar X_n\le 1)$

1 / 2

$1/2$

n

$n$

1.

$1.$

— whuber

1

@whuber Предположительно, что все вероятности для выборочного среднего значения концентрируются до значения . Если это не так, я считаю, что важно, чтобы ошибка была подробно изложена в ответе, и это цель этого вопроса.

1

$1$

— Алекос Пападопулос

2

Алекос, меня беспокоит не то, является ли последний шаг неправильным: это касается твоих причин сделать это. Разве это не все-таки вопрос? Я до сих пор ничего не прочитал от вас, приводя эти причины, и я бы не решался даже догадываться, что они могут быть. Хотя вы ссылаетесь на «LLN», я считаю, что решение вашей проблемы, скорее всего, заключается в том, чтобы точно описать то, что вы понимаете под «LLN».

— whuber

15

Ошибка здесь, вероятно, заключается в следующем: сходимость в распределении неявно предполагает, что сходится к в точках непрерывности . Поскольку предельное распределение имеет постоянную случайную величину, оно имеет скачкообразный скачок при , поэтому неверно заключать, что CDF сходится к . $F_n(x)$ $F(x)$ $F(x)$ $x=1$ $F(x)=1$

— Алекс Р.
источник

1

То, как мы определяем сходимость в распределении, не исключает возможности сходимости в точках разрыва - просто этого не требуется .

— Алекос Пападопулос

1

Но если для сходимости в распределении не требуется, чтобы

сходилось к

, на чем основано последнее равенство в вопросе?

F_{n} (1)

$F_n(1)$

F (1)

$F(1)$

— Юхо Коккала

1

@Juho Это не основано ни на чем - это суть вопроса. Не существует теоремы, позволяющей составить последнее уравнение в вопросе.

— whuber

1

@AlecosPapadopoulos: я никогда не говорил, что это не исключает возможности. Я неявно говорю, что вам нужно оправдать последнее равенство сверх того, что дается вам от конвергенции в распределении. Например, если

является Бернулли, то это было бы верно.

X_{n}

$X_n$

— Алекс Р.

11

Для iid случайных величин с определяют $X_i$ $E[X_i]= \operatorname{var}(X_i)=1$ Теперь, говорит ЦПТчто для любогофиксированноговещественного числа,. ОП применяет CLT для оценки

\begin{aligned} Z_{N} & знак равно \frac{1}{\sqrt{N}} Σ_{я знак равно 1}^{N} {Икс}_{я}, \\ Y_{N} & знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} {Икс}_{я}, \end{aligned}

$\begin{align}Z_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n X_i,\\ Y_n &= \frac{1}{{n}}\sum_{i=1}^n X_i. \end{align}$

z

$z$

lim_{n \to \infty} F_{Z_{n}} (z) = Φ (z - 1)

$\lim_{n\to\infty} F_{Z_n}(z) = \Phi(z-1)$

\underset{N \to \infty}{Ит} п (Z_{N} \leq \frac{1}{\sqrt{N}}) знак равно Φ (0) знак равно \frac{1}{2},

$\lim_{n\to\infty}P\left(Z_n \leq \frac{1}{\sqrt{n}}\right) = \Phi(0) = \frac 12.$

Как указывалось в других ответах, а также в нескольких комментариях к вопросу ОП, подозрительной является оценка ОП . Рассмотрим частный случай, когда iid - это дискретные случайные величины, принимающие значения и с равной вероятностью $\lim_{n\to\infty} P(Y_n \leq 1)$ $X_i$ $0$ $2$ . Теперь,могу взять навседаже целых значениях ви поэтомукогданечетно, не могу принимать значенияиследовательно $\frac 12$ $\sum_{i=1}^n X_i$ $[0,2n]$ $n$ $\sum_{i=1}^n X_i$ $n$ не могу принять значение. Кроме того, поскольку распределениесимметрично относительно, мы имеем то, что имеет значение $Y_n = \frac 1n \sum_{i=1}^n X_i$ $1$ $Y_n$ $1$ $P(Y_n \leq 1) = F_{Y_n}(1)$ всякий раз, когданечетно. Таким образом,последовательностьчисел содержитподпоследовательность $\frac 12$ $n$

P (Y_{1} \leq 1), P (Y_{2} \leq 1), \dots, P (Y_{n} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_2 \leq 1), \ldots, P(Y_n \leq 1), \ldots$

в котором все члены имеют значение

P (Y_{1} \leq 1), P (Y_{3} \leq 1), \dots, P (Y_{2 k - 1} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_3 \leq 1), \ldots, P(Y_{2k-1} \leq 1), \ldots$

. С другой стороны,подпоследовательность

являетсясходящейсяк

. Следовательно,

не существует и утверждения о сходимости

\frac{1}{2}

$\frac 12$

P (Y_{2} \leq 1), P (Y_{4} \leq 1), \dots, P (Y_{2 k} \leq 1), \dots

$P(Y_2 \leq 1), P(Y_ 4\leq 1), \ldots, P(Y_{2k} \leq 1), \ldots$

1

$1$

lim_{n \to \infty} P (Y_{n} \leq 1)

$\lim_{n\to\infty} P(Y_n \leq 1)$

к 1 следует рассматривать с большим подозрением.

P (Y_{n} \leq 1)

$P(Y_n\leq 1)$

— Дилип Сарватэ
источник

8

Ваш первый результат правильный. Ваша ошибка возникает во второй части, в следующем ошибочном утверждении:

lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1.

$\lim_{n \rightarrow \infty} F_{\bar{X}_n}(1) = 1.$

Это утверждение неверно (правая часть должна быть ) и это не следует из утвержденногозакона больших чисел. Слабый закон больших чисел (который вы вызываете) говорит о том, что: $\tfrac{1}{2}$

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0.

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0.$

Для всех условие пролеты некоторые значения , где , и некоторые значения , где . Следовательно, из LLN не следует, что . $\varepsilon > 0$ $|\bar{X}_n - 1| \leqslant \varepsilon$ $\bar{X}_n \leqslant 1$ $\bar{X}_n > 1$ $\lim_{n \rightarrow \infty} \mathbb{P} ( \bar{X}_n \leqslant 1 ) = 1$

— Восстановить Монику
источник

1

(Действительно ошибочный) результат исходит из импликации «сходимость по вероятности подразумевает сходимость по распределению». Вопрос не утверждает, что утверждение исходит непосредственно из LLN.

— Алекос Пападопулос

@AlecosPapadopoulos: сходимость по вероятности делает следует сходимость в распределении. Опять же, сходимость в распределении требуется только в точках непрерывности. Но, может быть, вы имели в виду, что сходимость по вероятности не подразумевает поточечную сходимость распределения.

— Алекс Р.

@AlexR. Я не уверен, где лежит ваше возражение. Я считаю, что этот вопрос освещен в моем собственном ответе.

— Алекос Пападопулос

3

Сходимость по вероятности подразумевает сходимость по распределению. Но ... какое распределение? Если предельное распределение имеет скачкообразный разрыв, то границы становятся неоднозначными (поскольку на разрыве возможно множество значений).

где является функция распределения выборки среднего , который по ЗБЧУ сходится по вероятности (а следовательно , и в распределении) до константы , $F_{\bar X_n}()$ $\bar X_n$ $1$

Это не правильно, и также легко показать, что это не может быть правильно (отличается от разногласий между CLT и LLN). Предельное распределение (которое можно рассматривать как ограничение последовательности нормальных распределенных переменных) должно быть:

F_{{\bar{X}}_{\infty}} (x) = {\begin{cases} 0 & for x < 1 \\ 0.5 & for x = 1 \\ 1 & for x > 1 \end{cases}

$F_{\bar{X}_\infty}(x) = \begin{cases} 0 & \text{for } x<1 \\ 0.5& \text{for } x=1\\ 1 & \text{for } x>1 \end{cases}$

$\epsilon>0$ $x$ $|F_{\bar{X}_n}(x)-F_{\bar{X}_\infty}(x)|<\epsilon$ $n$ $F_{\bar{X}_\infty}(1)=1$ $F_{\bar{X}_\infty}(1)=0.5$

Предел нормального распределения

Может быть полезно явно выписать сумму, использованную для вызова закона больших чисел.

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \sim N (1, \frac{1}{n})

$\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i \sim N(1,\frac{1}{n})$

^{$n\to \infty$ $\hat{X}_n$}

Используя это выражение, легче увидеть, что происходит под капотом, чем использовать готовые законы CLT и LLN, которые затемняют обоснование этих законов.

Сходимость по вероятности

Закон больших чисел дает вам «сходимость по вероятности»

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > ϵ) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>\epsilon) =0$

$\epsilon > 0$

^{$\lim_{n \to \infty} P(|\frac{1}{\sqrt{n}}\sum \left( X_i-1 \right)|>\frac{\epsilon}{n}) =0$}

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > 0) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>0) =0$

^{$\bar{X}_1, \bar{X}_2, \bar{X}_3, ... \bar{X}_n$ $\lim_{n \to \infty} P(\bar{X}_n = 1)$}

Шаговая функция Хевисайда и дельта-функция Дирака

$\bar{X}_n$

F_{{\bar{X}}_{n}} (x) = \frac{1}{2} (1 + erf \frac{x - 1}{\sqrt{2 / n}})

$F_{\bar{X}_n}(x) = \frac{1}{2} \left(1 + \text{erf} \frac{x-1}{\sqrt{2/n}} \right)$

$\lim_{n \to \infty} F_{\bar{X}_n}(1) = 0.5$

Я полагаю, что эта точка зрения интуитивно решает ваш вопрос относительно «покажите, что это неправильно» или, по крайней мере, показывает, что вопрос о понимании причины такого несогласия CLT и LLN эквивалентен вопросу о понимании интеграла дельта-функции Дирака. или последовательность нормальных распределений с дисперсией, уменьшающейся до нуля.

— Секст Эмпирик
источник

2

x = 1 / 2

$x=1/2$

a

$a$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = F_{X}(a)$

X \leq a + \frac{1}{n}

$X \leq a+\frac{1}{n}$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = lim_{n \to \infty} P (X \leq a + \frac{1}{n}) = P (lim_{n \to \infty} X \leq a + \frac{1}{n}) = P (X \leq a) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = \lim_{n \to \infty} P(X \leq a+\frac{1}{n}) = P(\lim_{n \to \infty} X \leq a+\frac{1}{n}) = P(X \leq a) = F_{X}(a)$

P

$P$

P

$P$

F (x)

$F(x)$

P

$P$

F (b) - F (a) = P (a < X \leq b)

$F(b)-F(a)=P(a<X\leq b)$

F

$F$

— Алекс Р.

2

Я считаю, что к настоящему времени должно быть ясно, что "подход CLT" дает правильный ответ.

Давайте точно определим, где «подход LLN» идет не так.

$\sqrt{n}$ $1/\sqrt{n}$

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)=\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1) \leq 0\right) = \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^nX_i \leq 1\right)$

$Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1)$

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = F_{Z_{n}} (0) = F_{{\bar{X}}_{n}} (1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)= F_{Z_n}(0) = F_{\bar X_n}(1)$

$\lim_{n\to \infty}F_{Z_n}(0)= \Phi(0) = 1/2$

$\bar X_n$ $\bar X_n$
$\bar X_n$ $1$

F_{1} (x) = {\begin{cases} 1 x \geq 1 \\ 0 x < 1 \end{cases} ⟹ F_{1} (1) = 1

$F_1(x) = \cases {1 \;\;\;\;x\geq 1 \\ 0 \;\;\;\;x<1} \implies F_1(1) = 1$

... so $\lim_{n\to \infty} F_{\bar X_n}(1) = F_1(1) = 1$ ...

...and we just made our mistake. Why? Because, as @AlexR. answer noted, "convergence in distribution" covers only the points of continuity of the limiting distribution function. And $1$ is a point of discontinuity for $F_1$ . This means that $\lim_{n\to \infty} F_{\bar X_n}(1)$ may be equal to $F_1(1)$ but it may be not, without negating the "convergence in distribution to a constant" implication of the LLN.

And since from the CLT approach we know what the value of the limit must be ( $1/2$ ). I do not know of a way to prove directly that $\lim_{n\to \infty} F_{\bar X_n}(1) = 1/2$ .

Did we learn anything new?

I did. The LLN asserts that

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0$

⟹ lim_{n \to \infty} [P (1 - ε < {\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big( 1-\varepsilon <\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

⟹ lim_{n \to \infty} [P ({\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big(\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

The LLN does not say how is the probability allocated in the $(1-\varepsilon, 1+\varepsilon)$ interval. What I learned is that, in this class of convergence results, the probability is at the limit allocated equally on the two sides of the centerpoint of the collapsing interval.

The general statement here is, assume

X_{n} \to_{p} θ, h (n) (X_{n} - θ) \to_{d} D (0, V)

$X_n\to_p \theta,\;\;\; h(n)(X_n-\theta) \to_d D(0,V)$

where $D$ is some rv with distribution function $F_D$ . Then

lim_{n \to \infty} P [X_{n} \leq θ] = lim_{n \to \infty} P [h (n) (X_{n} - θ) \leq 0] = F_{D} (0)

$\lim_{n\to \infty} \mathbb P[X_n \leq \theta] = \lim_{n\to \infty}\mathbb P[h(n)(X_n-\theta) \leq 0] = F_D(0)$

...which may not be equal to $F_{\theta}(0)$ (the distribution function of the constant rv).

Also, this is a strong example that, when the distribution function of the limiting random variable has discontinuities, then "convergence in distribution to a random variable" may describe a situation where "the limiting distribution" may disagree with the "distribution of the limiting random variable" at the discontinuity points. Strictly speaking, the limiting distribution for the continuity points is that of the constant random variable. For the discontinuity points we may be able to calculate the limiting probability, as "separate" entities.

— Alecos Papadopoulos
источник

The 'lesson learned' perspective is interesting, and this is a good, not too difficult, example for didactic application. Although I wonder what kind of (direct) practical application this thinking about the infinite has, because eventually in practice

n \neq \infty

$n \neq \infty$

— Секст Эмпирик

@MartijnWeterings Martijn, мотивация здесь, безусловно, была образовательной, а) как предупреждение о разрывах даже в такой «плоской» ситуации, как сходимость к константе, и так же в целом (например, они разрушают равномерную сходимость), и б) результат о том, как распределяется масса вероятности, становится интересным, когда последовательность, которая сходится по вероятности к константе, все еще имеет ненулевую дисперсию.

— Алекос Пападопулос

Мы могли бы сказать, что CLT скажет что-то о сходимости к ограничивающей нормальной распределенной переменной (таким образом, имея возможность выражать такие вещи как

F (x)

$F(x)$ ), но LLN позволяет нам только сказать, что, увеличивая размер выборки, мы приближаемся к истинному среднему значению, но это не означает, что мы с большей вероятностью получаем «точно равное среднему значению выборки». LLN означает, что среднее значение выборки становится ближе и ближе к предельному значению, но не (с большей вероятностью) равно ему. LLN ничего не говорит о

F (x)

$F(x)$

— Секст Эмпирик

Оригинальные мысли о LLN, где на самом деле противоположны (см. Рассуждения Arbuthnot stats.stackexchange.com/questions/343268 ). «Из сказанного видно, что при очень большом количестве игральных костей лот А станет очень маленьким ... будет лишь малая часть всех возможных шансов, поскольку это произойдет в любое назначенное время, что равное количество мужчин и женщин должны родиться ".

— Секст Эмпирик