Тест на конечную дисперсию?

Можно ли проверить на конечность (или существование) дисперсии случайной величины для данной выборки? Как ноль, либо {дисперсия существует и является конечной}, либо {дисперсия не существует / бесконечна} будет приемлемым. С философской точки зрения (и в вычислительном отношении) это кажется очень странным, потому что не должно быть никакой разницы между населением без конечной дисперсии и населением с очень очень большой дисперсией (скажем,> ), поэтому я не надеюсь, что эта проблема может быть решена.$10^{400}$

Один из подходов, который был мне предложен, был через Центральную предельную теорему: предполагая, что выборки являются идентичными, а совокупность имеет конечное среднее, можно каким-то образом проверить, имеет ли среднее значение выборки правильную стандартную ошибку с увеличением размера выборки. Я не уверен, что верю, что этот метод сработает. (В частности, я не вижу, как сделать это в надлежащем тесте.)

Нет, это невозможно, потому что конечная выборка размера $n$ не может надежно различить, скажем, нормальную популяцию и нормальную популяцию, загрязненную величиной распределения Коши, где >> . (Конечно, первая имеет конечную дисперсию, а вторая имеет бесконечную дисперсию.) Таким образом, любой полностью непараметрический тест будет иметь произвольно низкую мощность по отношению к таким альтернативам.$1/N$$N$$n$

Вы не можете быть уверены, не зная распределения. Но есть определенные вещи, которые вы можете сделать, например, посмотреть на то, что можно назвать «частичной дисперсией», то есть, если у вас есть выборка размера , вы рисуете дисперсию, оцененную по первым n терминам, где n работает от 2 до N .$N$$n$$n$$N$

С конечной дисперсией совокупности вы надеетесь, что частичная дисперсия скоро установится близко к дисперсии совокупности.

С бесконечной дисперсией совокупности вы видите скачки в частичной дисперсии, сопровождаемые медленным спадом, пока в выборке не появится следующее очень большое значение.

Это иллюстрация со случайными переменными Normal и Коши (и логарифмическим масштабом)

Это может не помочь, если форма вашего распределения такова, что для идентификации с достаточной достоверностью необходим гораздо больший размер выборки, чем у вас, т. Е. Когда очень большие значения достаточно (но не очень) редки для распределения с конечной дисперсией, или крайне редки для распределения с бесконечной дисперсией. Для данного распределения будут размеры выборки, которые, скорее всего, не раскрывают ее природу; и наоборот, для данного размера выборки существуют распределения, которые с большей вероятностью не маскируют свою природу для этого размера выборки.

Вот еще один ответ. Предположим, вы можете параметризовать проблему примерно так:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

Тогда вы могли бы сделать обычный тест отношения правдоподобия Неймана-Пирсона против H 1 . Обратите внимание, что H 1 - это Коши (бесконечная дисперсия), а H 0 - обычная t Стьюдента с 3 степенями свободы (конечная дисперсия), которая имеет PDF: f ( x | ν ) = Γ ( ν + $H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

для . Для данных простой случайной выборки x 1 , x 2 , … , x n , тест отношения правдоподобия отклоняет H 0, когда Λ ( x ) = ∏ n i = 1 f ( x i | ν = 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ гдеK≥0выбрано такчто Р(Λ(Х)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

Это немного алгебры, чтобы упростить

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

Итак, опять же, мы получаем простую случайную выборку, вычисляем и отклоняем H 0, если Λ ( x ) слишком велико. Насколько велик? Это забавная часть! Будет трудно (невозможно?) Получить замкнутую форму для критического значения, но мы можем наверняка приблизиться к ней настолько близко, насколько захотим. Вот один из способов сделать это с R. Предположим, α = 0,05 , а для смеха, скажем, n = 13 .$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

Мы генерируем группу выборок при , вычисляем Λ для каждого образца, а затем находим 95-й квантиль.$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

На моей машине это получается (через несколько секунд) , что после умножения на ( $\approx 12.8842$ являетсяк≈1,9859. Конечно, есть и другие, лучшие способы приблизиться к этому, но мы просто играем вокруг.$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

Отказ от ответственности: это игрушечный пример. У меня нет ни одной реальной ситуации, в которой мне было бы любопытно узнать, поступили ли мои данные с Коши, в отличие от данных Стьюдента с 3 df. И оригинальный вопрос ничего не говорил о параметризованных проблемах, он, похоже, искал больше непараметрического подхода, который, я думаю, был хорошо решен другими. Цель этого ответа - для будущих читателей, которые натыкаются на заголовок вопроса и ищут классический пыльный подход учебника.

$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Одна гипотеза имеет конечную дисперсию, другая имеет бесконечную дисперсию. Просто рассчитайте шансы:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

И теперь, взяв соотношение, мы находим, что важные части нормализующих констант отменяются, и получаем:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

И все интегралы по-прежнему правильны в пределе, поэтому мы можем получить:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

И мы получаем в качестве окончательной аналитической формы коэффициенты для численной работы:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

So this can be thought of as a specific test of finite versus infinite variance. We could also do a T distribution into this framework to get another test (test the hypothesis that the degrees of freedom is greater than 2).

The counterexample is not relevant to the question asked. You want to test the null hypothesis that a sample of i.i.d. random variables is drawn from a distribution having finite variance, at a given significance level. I recommend a good reference text like "Statistical Inference" by Casella to understand the use and the limit of hypothesis testing. Regarding h.t. on finite variance, I don't have a reference handy, but the following paper addresses a similar, but stronger, version of the problem, i.e., if the distribution tails follow a power law.

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA SIAM Review 51 (2009): 661--703.

One approach that had been suggested to me was via the Central Limit Theorem.

This is a old question, but I want to propose a way to use the CLT to test for large tails.

Let $X = \{X_1,\ldots,X_n\}$ be our sample. If the sample is a i.i.d. realization from a light tail distribution, then the CLT theorem holds. It follows that if $Y = \{Y_1,\ldots,Y_n\}$ is a bootstrap resample from $X$ then the distribution of:

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

is also close to the N(0,1) distribution function.

Now all we have to do is perform a large number of bootstraps and compare the empirical distribution function of the observed Z's with the e.d.f. of a N(0,1). A natural way to make this comparison is the Kolmogorov–Smirnov test.

The following pictures illustrate the main idea. In both pictures each colored line is constructed from a i.i.d. realization of 1000 observations from the particular distribution, followed by a 200 bootstrap resamples of size 500 for the approximation of the Z ecdf. The black continuous line is the N(0,1) cdf.