Есть ли примеры, когда центральная предельная теорема не выполняется?

Википедия говорит -

В теории вероятностей центральная предельная теорема (CLT) устанавливает, что в большинстве ситуаций , когда добавляются независимые случайные величины, их должным образом нормализованная сумма стремится к нормальному распределению (неофициально - «кривая колокола»), даже если сами исходные переменные не являются нормально распределенный ...

Когда говорится «в большинстве ситуаций», в каких ситуациях центральная предельная теорема не работает?

Чтобы понять это, вам необходимо сначала указать версию Центральной предельной теоремы. Вот «типичное» утверждение центральной предельной теоремы:

Линдеберг-Леви CLT. Предположим, что является последовательностью случайных величин iid с и . Пусть . Тогда, когда приближается к бесконечности, случайные величины сходятся по распределению к нормальному т.е.${X_1, X_2, \dots}$$E[X_i] = \mu$$Var[X_i] = \sigma^2 < \infty$$S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$$n$$\sqrt{n}(S_n − \mu)$$N(0,\sigma^2)$

$${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$$

Итак, как это отличается от неформального описания, и каковы пробелы? Есть несколько различий между вашим неофициальным описанием и этим описанием, некоторые из которых были обсуждены в других ответах, но не полностью. Итак, мы можем превратить это в три конкретных вопроса:

• Что происходит, если переменные не распределены одинаково?
• Что если переменные имеют бесконечную дисперсию или бесконечное среднее?
• Насколько важна независимость?

Принимая эти по одному,

Распределение неравномерно . Лучшими общими результатами являются версии центральной предельной теоремы Линдеберга и Ляпонова. В принципе, пока стандартные отклонения не растут слишком сильно, из них можно получить приличную центральную предельную теорему.

Ляпуновский CLT. [5] Предположим, что является последовательностью независимых случайных величин, каждая из которых имеет конечное ожидаемое значение и дисперсию Определите:μ i σ 2 s 2 n = ∑ n i = 1 σ 2 ${X_1, X_2, \dots}$$\mu_i$$\sigma^2$$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Если для некоторого , условие Ляпунова , тогда сумма сходится по распределению к стандартной нормальной случайной переменной, а n стремится к бесконечности:lim n → ∞ $\delta > 0$Xi-μi/s${\displaystyle \lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0}$$X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Теоремы о бесконечной дисперсии, подобные центральной предельной теореме, существуют для переменных с бесконечной дисперсией, но условия значительно более узкие, чем для обычной центральной предельной теоремы. По существу, хвост распределения вероятностей должен быть асимптотическим относительно для . В этом случае соответствующие масштабированные слагаемые сходятся к устойчивому распределению Леви-Альфа . 0 < α < $|x|^{-\alpha-1}$$0 < \alpha < 2$

Важность независимости Существует много различных центральных предельных теорем для не независимых последовательностей . Все они очень контекстуальные. Как указывает Бэтмен, есть один для Мартингейла. Этот вопрос является постоянной областью исследований, со многими, многими различными вариациями в зависимости от конкретного контекста интереса. Этот вопрос на Math Exchange является еще одним постом, связанным с этим вопросом.$X_i$

Хотя я почти уверен, что на него уже отвечали, вот еще один:

Существует несколько версий центральной предельной теоремы, наиболее общая из которых заключается в том, что с учетом произвольных функций плотности вероятности сумма переменных будет распределяться нормально со средним значением, равным сумме средних значений, а также с дисперсией, являющейся суммой отдельных отклонений.

Очень важным и значимым ограничением является то, что среднее значение и дисперсия данных PDF должны существовать и должны быть конечными.

Итак, просто возьмите любой pdf без среднего значения или дисперсии - и центральная предельная теорема больше не будет выполняться. Возьмем, к примеру, лоренцеву распределение.

Нет, CLT всегда держится, когда его предположения верны. Такие квалификации, как «в большинстве ситуаций», являются неофициальными ссылками на условия, при которых следует применять CLT.

Например, линейная комбинация независимых переменных из распределения Коши не будет складываться в нормальную распределенную переменную . Одна из причин состоит в том, что дисперсия не определена для распределения Коши , в то время как CLT накладывает на дисперсию определенные условия, например, что она должна быть конечной. Интересным выводом является то, что, поскольку симуляции Монте-Карло мотивированы CLT, вы должны быть осторожны с симуляциями Монте-Карло при работе с распределениями с жирным хвостом, такими как Коши.

Обратите внимание, что существует обобщенная версия CLT. Это работает для бесконечных или неопределенных отклонений, таких как распределение Коши. В отличие от многих хорошо распределенных распределений, правильно нормированная сумма чисел Коши остается Коши. Он не сходится к гауссовскому.

Кстати, не только гауссовские, но и многие другие дистрибутивы имеют PDF в форме колокольчиков, например Student t. Вот почему приведенное вами описание довольно либерально и неточно, возможно, нарочно.

Вот иллюстрация ответа херувима, гистограмма 1e5 взята из масштабированных (по ) выборочных средних t-распределений с двумя степенями свободы, так что дисперсия не существует .$\sqrt{n}$

Если CLT действительно применяется, гистограмма для равного должна напоминать плотность стандартного нормального распределения (которое, например, имеет плотность на своем пике), что, очевидно, нет.n = 1000 1 / $n$$n=1000$$1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

Простой случай, когда CLT не может выполняться по очень практическим причинам, - это когда последовательность случайных величин приближается к пределу вероятности строго с одной стороны . Это встречается, например, в оценках, которые оценивают что-то, лежащее на границе.

Возможно, стандартным примером здесь является оценка в образце iid Uniforms . Оценщик максимального правдоподобия будет статистикой максимального порядка, и он будет приближаться к обязательно только снизу: наивно мысля, поскольку предел его вероятности будет , оценщик не может иметь распределение "вокруг" - и CLT ушел.U ( 0 , θ ) θ θ $\theta$$U(0,\theta)$$\theta$$\theta$$\theta$

Оценщик, должным образом масштабированный, имеет ограничивающее распределение - но не "CLT-разновидность"

Вы можете найти быстрое решение здесь.

Возникают исключения из теоремы о центральном пределе

1. Когда есть несколько максимумов одинаковой высоты, и
2. Где вторая производная исчезает на максимуме.

Есть некоторые другие исключения, которые изложены в ответе @cherub.

Тот же вопрос уже задавался на math.stackexchange . Вы можете проверить ответы там.