Как определить квантили (изолинии?) Многомерного нормального распределения

24

введите описание изображения здесь

Меня интересует, как можно рассчитать квантиль многомерного распределения. На рисунках я нарисовал квантили 5% и 95% данного одномерного нормального распределения (слева). Для правильного многомерного нормального распределения я представляю, что аналогом будет изолиния, которая окружает основу функции плотности. Ниже приведен пример моей попытки рассчитать это с помощью пакета, mvtnormно безуспешно. Я полагаю, что это можно сделать путем вычисления контура результатов многомерной функции плотности, но мне было интересно, есть ли другая альтернатива ( например , аналог qnorm). Спасибо за вашу помощь.

Пример:

mu <- 5
sigma <- 2 
vals <- seq(-2,12,,100)
ds <- dnorm(vals, mean=mu, sd=sigma)

plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)


#install.packages("mvtnorm")
require(mvtnorm)
n <- 2
mmu <- rep(mu, n)
msigma <- rep(sigma, n)
mcov <- diag(msigma^2)
mvals <- expand.grid(seq(-2,12,,100), seq(-2,12,,100))
mvds <- dmvnorm(x=mvals, mean=mmu, sigma=mcov)

persp(matrix(mvds,100,100), axes=FALSE)
mvqs <- qmvnorm(0.95, mean=mmu, sigma=mcov, tail = "both") #?

#ex. plot   
png("tmp.png", width=8, height=4, units="in", res=400)
par(mfcol=c(1,2))

#univariate
plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)

#multivariate
pmat <- persp(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), axes=FALSE, shade=TRUE, lty=0)
cont <- contourLines(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), levels=0.05^2)
lines(trans3d(cont[[1]]$x, cont[[1]]$y, cont[[1]]$level, pmat), col=2, lty=2)

dev.off()

— Марк в коробке
источник

3

Решение Mathematica дано (и проиллюстрировано для случая 3D) по адресу mathematica.stackexchange.com/questions/21396/… . Это признает, что уровни контура даны распределением хи-квадрат.

— whuber

@whuber - не могли бы вы продемонстрировать, что вы подразумеваете под "... доверительный эллипсоид является контуром, обратным ковариационной матрице"? Приветствия.

— Марк в коробке

2

Это легче всего увидеть в одном измерении, где «ковариационная матрица» (для распределения выборки) представляет собой число

, поэтому ее обратное значение равно

, которое рассматривается как квадратичное отображение на

через

. Контур на уровне

по определению является множеством

для которого

; то есть

или эквивалентно

s^{2}

$s^2$

1 / s^{2}

$1/s^2$

R^{1}

$\mathbb{R}^1$

x \to x^{2} / s^{2}

$x\to x^2/s^2$

λ

$\lambda$

x

$x$

x^{2} / s^{2} = λ

$x^2/s^2=\lambda$

x^{2} = λ s^{2}

$x^2=\lambda s^2$

. Когда

-

квантиль распределения

,

x = \pm \sqrt{λ} s

$x=\pm\sqrt{\lambda}s$

λ

$\lambda$

1 - α

$1-\alpha$

χ^{2} (1)

$\chi^2(1)$

-

квантиль распределения

, откуда мы восстанавливаем обычные доверительные пределы

.

\sqrt{λ}

$\sqrt{\lambda}$

1 - α

$1-\alpha$

t (1)

$t(1)$

\pm t_{1 - α; 1} s

$\pm t_{1-\alpha; 1}s$

— whuber

Вы можете использовать первую формулу в этом ответе, выбрав

в

чтобы получить соответствующий эллипс

(красная пунктирная линия на ваших графиках) для любого

α

$\alpha$

(0, 1)

$(0,1)$

S_{α}

$S_\alpha$

x \in R^{2}

$\mathbf{x}\in \mathbb{R}^2$

— user603

25

Контурная линия - эллипсоид. Причина в том, что вы должны посмотреть на аргумент экспоненты в pdf многомерного нормального распределения: изолинии будут строки с одним и тем же аргументом. Тогда вы получите где - ковариационная матрица. Это в точности уравнение эллипса; в простейшем случае и диагональный, поэтому вы получите

(x - μ)^{T} Σ^{- 1} (x - μ) = c

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = c$

Σ

$\Sigma$

μ = (0, 0)

$\mu=(0,0)$

Σ

$\Sigma$

Если

недиагонали, диагонализацией вы получите тот же результат.

{(\frac{x}{σ_{x}})}^{2} + {(\frac{y}{σ_{y}})}^{2} = c

$\left(\frac{x}{\sigma_x}\right)^2+\left(\frac{y}{\sigma_y}\right)^2=c$

Σ

$\Sigma$

Теперь вам нужно будет интегрировать PDF многомерного внутри (или снаружи) эллипса и запросить, чтобы он был равен требуемому квантилю. Предположим, что ваши квантили не обычные, а в принципе эллиптические (т.е. вы ищете регион с наивысшей плотностью, HDR, как указывает Тим). Я бы изменил переменные в pdf на , интегрировал по углу, а затем для от до $z^2=(x/\sigma_x)^2+(y/\sigma_y)^2$ $z$ $0$ $\sqrt{c}$ Тогда вы заменяете :

1 - α = \int_{0}^{\sqrt{c}} d z \frac{z e^{- z^{2} / 2}}{2 π} \int_{0}^{2 π} d θ = \int_{0}^{\sqrt{c}} z e^{- z^{2} / 2}

$1-\alpha=\int_0^{\sqrt{c}}dz\frac{z\;e^{-z^2/2}}{2\pi}\int_0^{2\pi}d\theta=\int_0^{\sqrt{c}}z\;e^{-z^2/2}$

s = - z^{2} / 2

$s=-z^2/2$

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^{\sqrt{c}}z\;e^{-z^2/2}=\int_{-c/2}^{0}e^sds=(1-e^{-c/2})$

$\mu$ $\Sigma$ $-2\ln\alpha$

(x - μ)^{T} Σ^{- 1} (x - μ) = - 2 \ln α

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = -2\ln{\alpha}$

— chuse
источник

4

Вы спрашивали о многомерном нормальном, но начали свой вопрос с вопроса о «квантиле многомерного распределения» в целом. Из формулировки вашего вопроса и приведенного примера видно, что вы заинтересованы в регионах с высокой плотностью . Они определены Hyndman (1996) следующим образом

$f(z)$ $X$ $100( 1 - \alpha )\%$ $R(f_\alpha)$ $X$

$R (f_{α}) = {x : f (x) \geq f_{α}}$ $R(f_\alpha) = \{ x : f(x) \geq f_\alpha\}$
$f_\alpha$ $\Pr(X \in R(f_\alpha)) \geq 1 - a$

HDR могут быть получены путем интеграции, но, как описано Hyndman, вы можете сделать это, используя более простой численный метод. Если , то вы можете получить такое , что , просто принимая - квантиль . Его можно оценить, используя выборочные квантили из набора наблюдений . Метод применяется, даже если мы не знаем , но имеем только набор iid наблюдений. Этот метод будет работать также для мультимодальных распределений. $Y = f(x)$ $f_\alpha$ $\Pr(f(x) \geq f_\alpha) \geq 1 - \alpha$ $\alpha$ $Y$ $y_1,...,y_m$ $f(x)$

Hyndman, RJ (1996). Вычисление и построение графиков областей с высокой плотностью. Американский статистик, 50 (2), 120-126.

— Тим
источник

2

Правильный ответ должен быть . Произошла ошибка в расчете выше. Исправленная версия: $-2*\ln(\alpha)$

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^\sqrt{c} z e^{-z^2/2} =\int_{-c/2}^0e^sds=(1-e^{-c/2})$

— chunjiw
источник

1

Вы можете нарисовать эллипсы, соответствующие расстояниям Махаланобиса.

library(chemometrics)
data(glass)
data(glass.grp)
x=glass[,c(2,7)]
require(robustbase)
x.mcd=covMcd(x)
drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=0.90)

Или с кругами около 95%, 75% и 50% данных

drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=c(0.95,.75,.5))

— маргаритка
источник

4

Добро пожаловать на сайт @ user98114. Можете ли вы предоставить текст для объяснения того, что делает этот код и как он решает проблему ОП?

— gung - Восстановить Монику