Центральная предельная теорема против закона больших чисел

14

Центральная предельная теорема утверждает, что среднее значение iid-переменных, когда переходит в бесконечность, становится нормально распределенным. $N$

Это поднимает два вопроса:

Можем ли мы вывести из этого закон больших чисел? Если закон больших чисел гласит, что среднее значение выборки значений случайной величины равно истинному среднему значению при переходе в бесконечность, то, кажется, еще сильнее сказать, что (как говорит центральный предел), что значение становится где - стандартное отклонение. Справедливо ли тогда говорить, что центральный предел подразумевает закон больших чисел? $\mu$ $N$ $\mathcal N(\mu, \sigma)$ $\sigma$
Применима ли центральная предельная теорема к линейной комбинации переменных?

probability central-limit-theorem law-of-large-numbers

— user9097
источник

5

Ваше утверждение о том, что «центральная предельная теорема утверждает, что среднее значение переменных iid при переходе в бесконечность становится нормально распределенным» неверно. Смотрите мой ответ на этот недавний вопрос, который поднимает аналогичные вопросы. Другой ответ на этот вопрос был опубликован, но вскоре после этого удален, и обсуждение, последовавшее за этим ответом, которое теперь прошло, также обсудило эти вопросы.

N

$N$

— Дилип Сарвейт

1

Почему выборочное среднее сходящегося к населению средней более слабый результатом , чем выборочное среднее , сходящаяся к выборке из распределения?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Дилип Сарвейт

@DilipSarwate Спасибо за пометку, но ваш комментарий ИМО достаточно раскрыть неправильные представления в вопросе, и разумные ответы действительно появились.

10

ОП говорит

Центральная предельная теорема утверждает, что среднее значение iid-переменных, когда N переходит в бесконечность, становится нормально распределенным.

Я возьму это означает , что это убеждение ОП о том , что для одинаково распределенных случайных величин со средним значением и стандартным отклонением , кумулятивная функция распределения из сходится к кумулятивной функции распределения , нормальной случайной величины со средним значением и стандартным отклонением . Или, OP считает, что незначительные перестановки этой формулы, например, распределение сходится к распределению или распределению $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ сходится к распределению , стандартной нормальной случайной величины. В качестве примера отметим, что эти утверждения подразумевают, что при .

N (0, 1)

$\mathcal N(0,1)$

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

ОП продолжает говорить

Это поднимает два вопроса:

Можем ли мы вывести из этого закон больших чисел? Если закон больших чисел гласит, что среднее значение выборки значений случайной величины равно истинному среднему значению μ при переходе N в бесконечность, то, кажется, еще сильнее сказать, что (как говорит центральный предел), что значение становится N ( μ, σ) где σ - стандартное отклонение.

Слабый закон больших чисел говорит , что для одинаково распределенных случайных величин с конечным средним , учитывая любой , Обратите внимание, что нет необходимости предполагать, что стандартное отклонение конечно. $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

Итак, чтобы ответить на вопрос ОП,

Центральная предельная теорема, сформулированная ОП , не подразумевает слабый закон больших чисел. При версия центральной предельной теоремы OP гласит, что то время как слабый закон говорит, что $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
Из правильной формулировки центральной предельной теоремы в лучшем случае можно вывести только ограниченную форму слабого закона больших чисел, относящегося к случайным переменным с конечным средним и стандартным отклонением. Но слабый закон больших чисел также справедлив для случайных величин, таких как случайные переменные Парето, с конечным средним, но с бесконечным стандартным отклонением.
Я не понимаю, почему говорить, что среднее значение выборки сходится к нормальной случайной переменной с ненулевым стандартным отклонением, является более сильным утверждением, чем говорить, что среднее значение выборки сходится к среднему значению совокупности, которое является константой (или случайной величиной с нулевым стандартным отклонением, если тебе нравится).

— Дилип Сарватэ
источник

Интересно, что человек, который отклонил мой ответ, нашел нежелательным или неправильным в том, что я сказал.

— Дилип Сарватэ

7

Для закона больших чисел необходимо, чтобы все переменные были определены в одном и том же вероятностном пространстве (поскольку закон больших чисел является утверждением о вероятности события, определяемого , для всех одновременно). Для сходимости в распределении у вас могут быть разные вероятностные пространства, что упрощает многие аспекты доказательств (например, увеличение вложенных пространств, что очень часто встречается для различных треугольных доказательств в массивах). Но это также означает, что вы не можете делать какие-либо заявления относительно совместного распределения и , скажем. Так что нет, сходимость в распределении не подразумевает закон больших чисел, если только у вас нет общего вероятностного пространства для всех переменных. $\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$

— Stask
источник

(+1) То, что вы говорите, правда, и это очень важный момент. Треугольный массив позволяет переменным в каждой «строке» жить в разных вероятностных пространствах, чем предыдущие строки. С другой стороны, если мы априори говорим, что рассматриваем последовательность случайных переменных, то неявно они должны существовать в общем базовом пространстве, чтобы понятие независимости имело много смысла.

— кардинал

@cardinal: так что, если я правильно понимаю, в «простом» случае, когда все определены в одном и том же пространстве, это тот случай, когда центральность подразумевает закон больших чисел? или нет?

— user9097

@ user9097 Поскольку мы сейчас входим в области мелких деталей, о каком законе больших чисел спрашивают? Слабый закон или сильный закон?

— Дилип Сарвейт

Эта точка зрения верна только для сильного закона больших чисел , а не для слабого закона

— kjetil b halvorsen

4

Во-первых, хотя существует много определений, одна из стандартных форм центральной предельной теоремы гласит, что сходится по распределению к , где является выборочным средним н.о.р. копия некоторого случайной величины . $\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

Во- вторых, предположим , что мы имеем две независимые случайные величины и . Тогда или $X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

Другими словами, линейная комбинация случайных величин не будет сходиться к линейной комбинации нормалей в рамках CLT, только одна нормаль. Это имеет смысл, потому что линейная комбинация случайных величин является просто другой случайной величиной, к которой CLT может быть применена напрямую.

— Дэниел Джонсон
источник

1

Это хорошее начало для ответа. Вот некоторые комментарии: Линейная комбинация (совместных) нормалей нормальна, так что я не уверен, что ваш комментарий в этом отношении имел в виду. В любом случае, я подозреваю, что ОП не думал о линейных комбинациях формы, которую вы рассматриваете. Заметив, что где для каждого , естественный вопрос, который можно задать, - что происходит, когда мы заменим эти «однородные» веса на другие (более произвольные). Когда мы еще получим CLT? CLT Линдеберга можно использовать для ответа на этот вопрос.

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$

w_{n i} = 1 / n

$w_{ni} = 1/n$

i = 1, \dots, n

$i = 1,\ldots,n$

— кардинал

Я думаю, что при строгих условиях мой результат все равно скажет что-то о . Давайте сначала определим эти условия, а затем рассмотрим, как их ослабить. Давайте возьмем и как одну бесконечную последовательность неотрицательных вещественных чисел. Если число различных конечно и каждое из них появляется бесконечно часто в последовательности, мой результат должен сохраняться, поскольку каждый определяет случайную величину, и это вписывается в структуру «линейной комбинации», которую я дал выше. Тогда хороший вопрос был бы, если бы мы могли разрешить число различных масштаб с .

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$

w_{j}

$w_j$

w_{j}

$w_{j}$

w_{j} X

$w_jX$

w

$w$

n

$n$

— Даниэль Джонсон

1

Это хороший комментарий и хорошая идея, однако я полагаю, что для работы потребуются некоторые изменения. Предположим, что wlog . свой следующим образом. Пусть , . Теперь определим индуктивно следующим образом: установите до . Затем добавляйте их до . Снова добавьте нули, затем единицы. Повторите до бесконечности. Теперь и встречаются бесконечное число раз, но дисперсия пересчитанного среднего колеблется между и

E X = 0

$\mathbb E X = 0$

w_{j}

$w_j$

w_{1} = 1

$w_1 = 1$

w_{2} = 0

$w_2 = 0$

w_{j}

$w_j$

w_{j} = 0

$w_j = 0$

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$

0

$0$

1

$1$

1 / 2

$1/2$

1 / 4

$1/4$ (примерно). Итак, ваша заявленная последовательность не может сходиться в распределении.

— кардинал

(Примечание: здесь нет ничего особенного в выборе и Кроме того, строго говоря, процедура, которую вы описываете в комментарии, действительно не вписывается в рамки линейного сочетания вашего ответа.)

0

$0$

1

$1$

— кардинально