За каким распределением следует обратный нормальный CDF бета-случайной величины?

Предположим, вы определили:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

где $\Phi^{-1}$ - обратная величина CDF стандартного нормального распределения .

Мой вопрос: существует ли простое распределение, за которым следует , или которое может приближаться к ? $Y$$Y$Я спрашиваю, потому что у меня есть сильное подозрение, основанное на результатах моделирования (показанных ниже), что $Y$ сходится к нормальному распределению, когда $\alpha$ и $\beta$ высоки, но я не знаю, почему это было бы математически. (Конечно, когда $\alpha=1;\beta=1$ , $X$ будет равномерным, а $Y$ будет стандартной нормалью, но почему это будет верно для более высоких значений?).

Если это действительно сходится к нормали, каковы будут параметры этой нормали в терминах $\alpha$ и $\beta$ ? (Я ожидаю, что среднее значение будет $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$ так как это трансформация режима, но я не знаю стандартного отклонения).

(Другими словами, это может быть вопрос о том, « сходится ли $\Phi(\mbox{Norm}(\mu, \sigma))$ к бета-распределению для некоторого направления $\mu$ и $\sigma$ »? Я не уверен, что это легче ответить).

Результаты симуляции

Здесь я показываю, почему у меня есть подозрение, что результат нормальный (так как я не могу подтвердить это с помощью математики). Моделирование $Y$ может быть сделано в R с qnormи rnorm. Например, выбирая высокие параметры $\alpha=3000$ и $\beta=7000$ :

hist(qnorm(rbeta(5000, 3000, 7000)))

Это действительно выглядит нормально, а qqnormи на тест Шапиро-Wilk (в которой нормальность является нулевая гипотеза) Предлагайте так же:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Чтобы глубже изучить нормальность, я выполняю 2000 симуляций, каждый раз симулируя 5000 значений из $Y$ , затем выполняя тест, чтобы сравнить его с нормой. (Я выбрал значения 5K, потому что это максимум, который shapiro.testможно обработать, и максимизирует мощность для обнаружения отклонений от нормы).

Если бы распределение действительно было нормальным, мы ожидали бы, что p-значения будут одинаковыми (так как null равен true). Они действительно близки к однородным, что говорит о том, что распределение очень близко к нормальному:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Некоторые эксперименты показывают, что чем выше и β , тем ближе распределение к норме (например,$\alpha$$\beta$rbeta(5000, 3, 7) , довольно далеко от нормы, но попробуйте, hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))и, кажется, что-то среднее).

конспект

Вы заново открыли часть конструкции, описанной в Центральной предельной теореме для выборочных медиан , которая иллюстрирует анализ медианы выборки. (Анализ, очевидно, применяется mutatis mutandis к любому квантилю, а не только к медиане). Поэтому неудивительно, что для больших параметров Бета (соответствующих большим выборкам) нормальное распределение возникает при преобразовании, описанном в вопросе. Интересно то, насколько близко к нормальному распределение даже для небольших бета-параметров. Это заслуживает объяснения.

Я сделаю набросок анализа ниже. Чтобы держать этот пост в разумных пределах, нужно много наводить на размышления: я хочу лишь указать на ключевые идеи. Поэтому позвольте мне обобщить результаты здесь:

1. Когда близко к $\alpha$$\beta$ , все симметрично. Это приводит к тому, что преобразованное распределение уже выглядит нормально.

2. Функции вида выглядят достаточно нормальными, в первую очередь, даже для небольших значений α и β (при условии, что оба превышают 1, а их соотношение не слишком близко к 0 или 1 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. Кажущаяся нормальность преобразованного распределения обусловлена ​​тем, что его плотность состоит из нормальной плотности, умноженной на функцию в (2).

4. При увеличении и β отклонение от нормальности можно измерить в оставшихся терминах в ряд Тейлора для логарифмической плотности. Член порядка n уменьшается пропорционально ( n - 2 ) / 2 степеням α и β . Это подразумевает, что в конечном итоге для достаточно больших α и β все члены степени n = 3 или более стали относительно малыми, оставляя только квадратичное значение, которое в точности равно логарифмической плотности нормального распределения.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

В совокупности эти поведения хорошо объясняют, почему даже для малых и β неэкстремальные квантили образца iid Normal выглядят приблизительно нормально.$\alpha$$\beta$

---

Анализ

Поскольку может быть полезно обобщить, пусть - любая функция распределения, хотя мы имеем в виду F = Φ .$F$$F=\Phi$

Функция плотности бета- переменной ( α , β ) по определению пропорциональна$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Если быть интегралом вероятности для x и записать f для производной от F , то сразу x имеет плотность, пропорциональную$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Поскольку это монотонное преобразование сильно унимодального распределения (бета), если является довольно странным, преобразованное распределение также будет унимодальным. Чтобы изучить, насколько близко это может быть к нормальному, давайте рассмотрим логарифм его плотности,$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

где $C$ - нерелевантная константа нормализации.

Разложите компоненты в ряд Тейлора, чтобы упорядочить три вокруг значения x 0 (которое будет близко к моде). Например, мы можем написать расширение журнала $\log G(x;\alpha,\beta)$$x_0$$\log F$ как

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

в течение некоторого с | ч | ≤ | х - х 0 | , Используйте аналогичные обозначения для log ( 1 - F ) и log f . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

Линейные условия

Таким образом, линейный член в становится$(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

Когда является режимом G $x_0$ это выражение равно нулю. Обратите внимание, что, поскольку коэффициенты являются непрерывными функциями от x 0 , так как α и β изменяются, мода x 0 также будет изменяться непрерывно. Более того, как только α и β становятся достаточно большими,член c f 1 становится относительно несущественным. Если мы хотим изучить предел при α → ∞ и β → ∞, для которого α : β остается в постоянной пропорции γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$поэтому мы можем раз и навсегда выбрать базовую точку для которой$x_0$

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

Хороший случай, когда , где α = β во всем и F симметричен относительно 0 . В этом случае очевидно , х 0 = Р ( 0 ) = 1 / 2 .$\gamma=1$$\alpha=\beta$$F$$0$$x_0=F(0)=1/2$

Мы достигли метода, при котором (a) в пределе член первого порядка в ряду Тейлора обращается в нуль, а (b) в только что описанном частном случае член первого порядка всегда равен нулю.

Квадратичные условия

These are the sum

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Comparing to a Normal distribution, whose quadratic term is $-(1/2)(x-x_0)^2/\sigma^2$, we may estimate that $-1/(2g_2(\alpha,\beta))$ is approximately the variance of $G$. Let us standardize $G$ by rescaling $x$ by its square root. we don't really need the details; it suffices to understand that this rescaling is going to multiply the coefficient of $(x-x_0)^n$$(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Remainder term

Here's the punchline: the term of order $n$ in the Taylor expansion is, according to our notation,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

After standardization, it becomes

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

The vanishing of the remainder term is particularly fast when $F$ is standard Normal, because in this case $f(x)$ is purely quadratic: it contributes nothing to the remainder terms. Consequently, the deviation of $G$ from normality depends solely on the deviation between $F^{\alpha-1}(1-F)^{\beta-1}$ and normality.

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.