Асимптотическое распределение выборочной дисперсии ненормального образца

Это более общий подход к проблеме, поставленной этим вопросом . После получения асимптотического распределения выборочной дисперсии мы можем применить метод Дельта, чтобы получить соответствующее распределение для стандартного отклонения.

Пусть выборка размера из iid ненормальных случайных величин , со средним значением и дисперсией . Установите среднее значение выборки и выборочную дисперсию как { X i } $n$$\{X_i\},\;\; i=1,...,n$$\mu$$\sigma^2$

$$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$$

Мы знаем, что

$$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$$

где , и мы ограничиваем наше внимание распределениями, для которых какие моменты должны существовать и быть конечными, существуют и конечны.$\mu_4 = E(X_i -\mu)^4$

Это держит это

$$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$$

В зависимости от шага, возникающие при рассмотрении выборочной дисперсии, мы пишем

$$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$$

$$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$$

и после небольшой манипуляции,

$$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$$

Следовательно

$$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$$

Манипуляции,

$$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

$$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

$$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

Член становится асимптотически единичным. Термин является детерминированным и стремится к нулю как .$n/(n-1)$n→$\frac {\sqrt n}{n-1}\sigma^2$$n \rightarrow \infty$

У нас также есть . Первый компонент сходится по распределению к нормали, второй по вероятности сходится к нулю. Тогда по теореме Слуцкого произведение сходится по вероятности к нулю,$\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

$$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$$

Мы остались с термином

$$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$$

Опираясь на смертоносный пример, предложенный @whuber в комментарии к этому ответу , мы хотим убедиться, что не является константой. Уубер указал, что если является бернуллиевским то эта величина является константой. Таким образом, исключая переменные, для которых это происходит (возможно, другие дихотомические, а не только двоичные ?), В остальном мы имеемХ я ( 1 / 2 ) 0 /$(X_i-\mu)^2$$X_i$$(1/2)$$0/1$

$$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$$

и поэтому исследуемый термин является обычным предметом классической центральной предельной теоремы, и

$$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$$

Примечание: приведенный выше результат, конечно, справедлив и для нормально распределенных выборок, но в последнем случае мы также имеем конечный выборочный результат распределения хи-квадрат.

У вас уже есть подробный ответ на ваш вопрос, но позвольте мне предложить другой вопрос. На самом деле, более короткое доказательство возможно на основе того факта, что распределение

$$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$$

не зависит от , скажем. Асимптотически также не имеет значения, изменим ли мы коэффициент на , что я сделаю для удобства. Затем мы имеем$E(X) = \xi$$\frac{1}{n-1}$$\frac{1}{n}$

$$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$$

И теперь мы предполагаем без ограничения общности, что и мы замечаем, что$\xi = 0$

$$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$$

имеет предел вероятности ноль, так как второе слагаемое ограничено по вероятности (согласно CLT и теореме о непрерывном отображении), т.е. оно равно . Асимптотический результат теперь следует из теоремы Слуцкого и CLT, так как$O_p(1)$

$$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$$

где . И это сделает это.$\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

Отличные ответы Алекоса и ДжонК уже результат, , но я хотел бы отметить еще кое-что об асимптотическом распределении выборочной дисперсии.

Обычно можно увидеть асимптотические результаты, представленные с использованием нормального распределения, и это полезно для формулировки теорем. Однако, практически говоря, цель асимптотического распределения для выборочной статистики состоит в том, что она позволяет получить приблизительное распределение, когда велико. Есть много вариантов, которые вы могли бы сделать для своего приближения большой выборки, поскольку многие распределения имеют одинаковую асимптотику. В случае выборочной дисперсии, я считаю, что превосходное аппроксимирующее распределение для больших определяется выражением:$n$$n$

$$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$$

где и - параметр эксцесса. Это распределение асимптотически эквивалентно нормальному приближению, полученному из теоремы (распределение хи-квадрат сходится к нормальному, когда степени свободы стремятся к бесконечности). Несмотря на эту эквивалентность, эта аппроксимация обладает рядом других свойств, которые вы бы хотели, чтобы ваше аппроксимирующее распределение$DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$$\kappa = \mu_4 / \sigma^4$

• В отличие от нормального приближения, полученного непосредственно из теоремы, это распределение имеет правильную поддержку интересующей статистики. Выборочная дисперсия неотрицательна, и это распределение имеет неотрицательную поддержку.

• В случае, когда базовые значения обычно распределены, это приближение фактически является точным распределением выборки. (В этом случае мы имеем что дает , который является стандартной формой, используемой в большинстве текстов.) Следовательно, он представляет собой результат, который является точным в важном частном случае, и при этом остается разумным приближением в более общие случаи.$\kappa = 3$$DF_n = n-1$

---

Вывод вышеуказанного результата: Приблизительные результаты распределения для выборочного среднего и дисперсии подробно обсуждаются в O'Neill (2014) , и в этой статье приводятся выводы многих результатов, включая настоящее приближенное распределение.

Этот вывод начинается с ограничивающего результата в вопросе:

$$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$$

Переставляя этот результат, мы получаем приближение:

$$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$$

Поскольку распределение хи-квадрат асимптотически нормально, как мы имеем:$DF \rightarrow \infty$

$$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$$

Если (что приводит к приведенной выше формуле), то обеспечивающая асимптотическое распределение хи-квадрат эквивалентно нормальному приближению из предельной теоремы.D F n → 2 n / ( κ - 1 $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$$DF_n \rightarrow 2n / (\kappa - 1)$