Что означает усеченное распределение?

14

В исследовательской статье об анализе чувствительности модели обыкновенного дифференциального уравнения динамической системы автор представил распределение параметра модели в виде нормального распределения (среднее = 1e-4, std = 3e-5), усеченного до диапазона [0.5e -4 1,5е-4]. Затем он использует образцы из этого усеченного распределения для моделирования модели. Что значит иметь усеченный дистрибутив и образец из этого усеченного дистрибутива?

Я мог бы придумать два способа сделать это:

Выборка из нормального распределения, но игнорирование всех случайных значений, выходящих за пределы указанного диапазона, до моделирования.
Каким-то образом получите специальный «усеченный нормальный» дистрибутив и получите образцы из него.

Это действительные и эквивалентные подходы?

Я полагаю, что в первом случае, если построить график экспериментального cdf / pdf образца, он не будет выглядеть как нормальное распределение, поскольку кривые не расширяются до $\pm\infty$ .

distributions simulation truncation

— Kavka
источник

16

Усечение распределения означает ограничение его значений интервалом и повторную нормализацию плотности, чтобы интеграл по этому диапазону был равен 1.

Таким образом, усечение распределения $N(\mu, \sigma^{2})$ до интервала $(a,b)$ означало бы создание случайной величины, которая имеет плотность

p_{a, b} (x) = \frac{ϕ_{μ, σ^{2}} (x)}{\int_{a}^{b} ϕ_{μ, σ^{2}} (y) d y} \cdot I {x \in (a, b)}

$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$

где $\phi_{\mu, \sigma^{2}}(x)$ - плотность $N(\mu, \sigma^2)$ . Вы можете взять образец из этой плотности несколькими способами. Один из способов (самый простой способ, который я могу придумать) сделать это - сгенерировать $N(\mu, \sigma^2)$ значений и выбросить те, которые выходят за пределы $(a,b)$ интервал , как вы упоминали. Так что, да, те две пули, которые вы перечислили, достигли бы той же цели. Кроме того, вы правы, что эмпирическая плотность (или гистограмма) переменных из этого распределения не будет расширяться до . Это будет ограничено , конечно. $\pm \infty$ $(a,b)$

— макрос
источник

17

Моделирование от нормального распределения до тех пор, пока результат не попадет в интервал , хорошо, когда вероятность $\mathcal{N}(\mu,\sigma^2)$ $(a,b)$ достаточно велик. Если он слишком мал, эта процедура слишком затратна, поскольку среднее число тиражей для одного акцепта составляет .

ϱ = \int_{a}^{b} φ_{μ, σ^{2}} (x) d x

$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$

1 / ϱ

$1/\varrho$

Как описано в Статистических методах Монте-Карло (Глава 2, Пример 2.2), а также в моей статье arXiv , более эффективный способ симулировать эту усеченную нормалью состоит в использовании метода accept-reject, основанного на экспоненциальном распределении . $\mathcal{E}(\alpha)$

Рассмотрим без ограничения общности случай и . Когда , потенциальным инструментальным распределением является транслированное экспоненциальное распределение с плотностью $\mu = 0$ $\sigma = 1$ $b=+\infty$ $\mathcal{E} (\alpha,{ a})$ Отношение затем ограничена , если и

g_{α} (z) = α e^{- α (z - a)} I_{z \geq a} .

$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$

p_{a, \infty} (z) / g_{α} (z) \propto e^{- α (z - a)} e^{- z^{2} / 2}

$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$

\exp (α^{2} / 2 - α a)

$\exp(\alpha^{2}/2 - \alpha{a })$

α > a

$\alpha > a$

противном случае. Соответствующая (верхняя) граница

\exp (- a^{2} / 2)

$\exp(- a^{2}/2)$

Первое выражение минимизируется с помощью

{\begin{cases} 1 / α \exp (α^{2} / 2 - α a) & if α > a, \\ 1 / α \exp (- a^{2} / 2) & otherwise. \end{cases}

$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$

тогда как

минимизирует вторую оценку. Поэтому оптимальный выбор

равен (1).

α^{*} = \frac{1}{2} a + \frac{1}{2} \sqrt{a^{2} + 4}, (1)

$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$

\tilde{α} = a

$\tilde\alpha = a$

α

$\alpha$

— Сиань
источник

2

U \sim Unif (Φ (a), Φ (b))

$U \sim \text{Unif}(\Phi(a),\Phi(b))$

X = Φ^{- 1} (U)

$X = \Phi^{-1}(U)$

2

a

$a$

0

$0$

1

Сиань прав, @bnaul. Запуск qnormв цикле R не очень хорошая идея.

— Стефан Лоран

@ Сиань: это правда, но такие функции могут иметь произвольную точность.

— Нил Г

9

Выборка из нормального распределения, но игнорирование всех случайных значений, выходящих за пределы указанного диапазона, до моделирования.

Этот метод является правильным, но, как упомянул @ Xi'an в своем ответе, потребуется много времени, когда диапазон мал (точнее, когда его мера мала при нормальном распределении).

$F^{-1}(U)$ $F$ $U\sim\text{Unif}(0,1)$ $F$ $G$ $(a,b)$ $G^{-1}(U)$ $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ .

$G^{-1}$ $G^{-1}$ $G$ $G^{-1}$ $a$ $b$ $G$ .

Имитация усеченного распределения с использованием выборки по важности

${\cal N}(0,1)$ $G$ $G$ $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ and $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$ . Therefore, the truncated Cauchy distribution is easy to sample by the inversion method and it is a good choice of the instrumental variable for importance sampling of the truncated normal distribution.

After a bit of simplifications, sampling $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ and taking $G^{-1}(U)$ is equivalent to take $\tan(U')$ with $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$ :

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

Now one has to calculate the weight for each sampled value $x_i$ , defined as the ratio $\phi(x)/g(x)$ of the two densities up to normalization, hence we can take

w (x) = \exp (- x^{2} / 2) (1 + x^{2}),

$w(x) = \exp(-x^2/2)(1+x^2),$ but it could be safer to take the log-weights:

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

The weighted sample $(x_i,w(x_i))$ allows to estimate the measure of every interval $[u,v]$ under the target distribution, by summing the weights of each sampled value falling inside the interval:

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

This provides an estimate of the target cumulative function. We can quickly get and plot it with the spatsat package:

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

ewcdf

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

Of course, the sample $(x_i)$ is definitely not a sample of the target distribution, but of the instrumental Cauchy distribution, and one gets a sample of the target distribution by performing weighted resampling, for instance using the multinomial sampling:

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims)

hist

mean(resims>u & resims<v)
## [1] 0.1446

Another method: fast inverse transform sampling

Olver and Townsend developed a sampling method for a broad class of continuous distribution. It is implemented in the chebfun2 library for Matlab as well as the ApproxFun library for Julia. I have recently discovered this library and it sounds very promising (not only for random sampling). Basically this is the inversion method but using powerful approximations of the cdf and the inverse cdf. The input is the target density function up to normalization.

The sample is simply generated by the following code:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

As checked below, it yields an estimated measure of the interval $[2,4]$ close to the one previously obtained by importance sampling:

sum((x.>2) & (x.<4))/nsims
## 0.14191

— Stéphane Laurent
источник