Студент т как смесь гауссов

23

Используя t-распределение Стьюдента с $k > 0$ степенями свободы, параметр местоположения и параметр шкалы имеют плотность $l$ $s$

\frac{Γ (\frac{k + 1}{2})}{Γ (\frac{k}{2} \sqrt{k π s^{2}})} {1 + k^{- 1} (\frac{x - l}{s})}^{- (k + 1) / 2},

$\frac{\Gamma \left(\frac{k+1}{2}\right)}{\Gamma\left(\frac{k}{2}\sqrt{k \pi s^2}\right)} \left\{ 1 + k^{-1}\left( \frac{x-l}{s}\right)\right\}^{-(k+1)/2},$

как показать, что распределение Стьюдента может быть записано как смесь гауссовских распределений, если , , и интегрирование плотности соединения чтобы получить предельную плотность ? Каковы параметры результирующего распределения как функции ? $t$ $X\sim N(\mu,\sigma^2)$ $\tau = 1/\sigma^2\sim\Gamma(\alpha,\beta)$ $f(x,\tau|\mu)$ $f(x|\mu)$ $t$ $\mu,\alpha,\beta$

Я затерялся в исчислении, интегрируя условную плотность сустава с гамма-распределением.

distributions mixture

— Салих Укан
источник

31

PDF нормального распределения

f_{μ, σ} (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x

$f_{\mu, \sigma}(x) = \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu )^2}{2 \sigma ^2}}dx$

но с точки зрения это $\tau = 1/\sigma^2$

g_{μ, τ} (x) = \frac{\sqrt{τ}}{\sqrt{2 π}} e^{- \frac{τ (x - μ)^{2}}{2}} d x .

$g_{\mu, \tau}(x) = \frac{\sqrt{\tau}}{\sqrt{2 \pi}} e^{-\frac{\tau(x-\mu )^2}{2 }}dx.$

PDF-файл гамма-распределения

h_{α, β} (τ) = \frac{1}{Γ (α)} e^{- \frac{τ}{β}} τ^{- 1 + α} β^{- α} d τ .

$h_{\alpha, \beta}(\tau) = \frac{1}{\Gamma(\alpha)}e^{-\frac{\tau}{\beta }} \tau^{-1+\alpha } \beta ^{-\alpha }d\tau.$

Их произведение, слегка упрощенное простой алгеброй, поэтому

f_{μ, α, β} (x, τ) = \frac{1}{β^{α} Γ (α) \sqrt{2 π}} e^{- τ (\frac{(x - μ)^{2}}{2} + \frac{1}{β})} τ^{- 1 / 2 + α} d τ d x .

$f_{\mu, \alpha, \beta}(x,\tau) =\frac{1}{\beta^\alpha\Gamma(\alpha)\sqrt{2 \pi}} e^{-\tau\left(\frac{(x-\mu )^2}{2 } + \frac{1}{\beta}\right)} \tau^{-1/2+\alpha}d\tau dx.$

Его внутренняя часть, очевидно, имеет вид , что делает ее кратной гамма-функции при интегрировании во всем диапазоне от до . Следовательно, этот интеграл является немедленным (полученным, если знать, что интеграл гамма-распределения равен единице), давая предельное распределение $\exp(-\text{constant}_1 \times \tau) \times \tau^{\text{constant}_2}d\tau$ $\tau=0$ $\tau=\infty$

f_{μ, α, β} (x) = \frac{\sqrt{β} Γ (α + \frac{1}{2})}{\sqrt{2 π} Γ (α)} \frac{1}{{(\frac{β}{2} (x - μ)^{2} + 1)}^{α + \frac{1}{2}}} .

$f_{\mu, \alpha, \beta}(x) = \frac{\sqrt{\beta } \Gamma \left(\alpha +\frac{1}{2}\right) }{\sqrt{2\pi } \Gamma (\alpha )}\frac{1}{\left(\frac{\beta}{2} (x-\mu )^2+1\right)^{\alpha +\frac{1}{2}}}.$

Пытаясь соответствовать шаблону , отведенный для распределения показывает , есть ошибка в вопросе: PDF для распределения Стьюдента Студенческого фактически пропорционален $t$

\frac{1}{\sqrt{k} s} {(\frac{1}{1 + k^{- 1} {(\frac{x - l}{s})}^{2}})}^{\frac{k + 1}{2}}

$\frac{1}{\sqrt{k} s }\left(\frac{1}{1+k^{-1}\left(\frac{x-l}{s}\right)^2}\right)^{\frac{k+1}{2}}$

(the power of $(x-l)/s$ is $2$ , not $1$ ). Matching the terms indicates $k = 2 \alpha$ , $l=\mu$ , and $s = 1/\sqrt{\alpha\beta}$ .

Notice that no Calculus was needed for this derivation: everything was a matter of looking up the formulas of the Normal and Gamma PDFs, carrying out some trivial algebraic manipulations involving products and powers, and matching patterns in algebraic expressions (in that order).

— whuber
источник

10

Inspired by this answer I made an animation of the t distribution as a mixture of normal distributions. It is available here: sumsar.net/blog/2013/12/t-as-a-mixture-of-normals

— Rasmus Bååth

1

@whuber: Technically, for that kind of matching there is always an implicit use of calculus in your recognition that you can integrate out the gamma density using its known integral form. (This is the statistician's equivalent of hiding the broccoli by mixing it in with the meat and potatoes.) A clever way of hiding the calculus!

— Reinstate Monica

1

I don't know the steps of the calculation, but I do know the results from some book (cannot remember which one...). I usually keep it in mind directly... :-) The Student $t$ distribution with $k$ degree freedom can be regarded as a Normal distribution with variance mixture $Y$ , where $Y$ follows inverse gamma distribution. More precisely, $X$ ~ $t(k)$ , $X$ = $\sqrt Y$ * $\Phi$ ,where $Y$ ~ $IG(k/2,k/2)$ , $\Phi$ is standard normal rv. I hope this could help you in some sense.

— Jingjings
источник

0

To simplify we assume mean $0$ . Using representation, we show the result for integer degrees of freedom.

\sqrt{1 / τ} X = Y

$\sqrt{1/\tau} X =Y$ is equivalent to a Gaussian mixture with that prior: conditioned on

τ

$\tau$ ,

Y

$Y$ is Gaussian with precision

τ

$\tau$ , and the prior

τ

$\tau$ is as desired. Then it remains to show that

\sqrt{1 / τ} X

$\sqrt{1/\tau} X$ is a t-distribution. We can write

τ \sim Γ (α, β) \sim \frac{β}{2} Γ (α, 2) \sim \frac{β}{2} χ^{2} (2 α)

$\tau \sim \Gamma(\alpha, \beta) \sim \frac{\beta}{2} \Gamma(\alpha, 2) \sim \frac{\beta}{2} \chi^2(2\alpha)$ using a well-known result about gammas and Chi-squares (decompose a gamma as a sum of exponentials and combine the exponentials to normals to Chi squares) This in turn implies that

Y \sim X \frac{1}{\sqrt{(β / 2) χ^{2} (2 α)}}

$Y \sim X \frac{1}{\sqrt{(\beta/2) \chi^2(2\alpha)} }$

= \frac{X \sqrt{α β}}{\sqrt{χ_{2 α}^{2} / (2 α)}}

$= \frac{ X \sqrt{\alpha \beta} }{\sqrt{ \chi^2_{2\alpha}/(2\alpha)}}$ which is a scaled t with

k = 2 α

$k=2\alpha$ and

s = 1 / \sqrt{α β}

$s=1/\sqrt{\alpha \beta}$ by variance of t. We can recenter our representation at

μ

$\mu$ and

l

$l$ would follow.

— Romil Sirohi
источник