Ниже, чем ожидалось, охват для важности выборки с моделированием

Я пытался ответить на вопрос Оценка интеграла Важность метода отбора проб в R . В основном, пользователь должен рассчитать

\int_{0}^{π} f (x) d x = \int_{0}^{π} \frac{1}{\cos (x)^{2} + x^{2}} d x

$\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx$

используя экспоненциальное распределение в качестве распределения важности

q (x) = λ \exp^{- λ x}

$q(x)=\lambda\ \exp^{-\lambda x}$

и найдите значение которое дает лучшее приближение к интегралу (это ). Я переделал проблему как оценку среднего значения функции по : тогда интеграл равен просто . $\lambda$ self-study $\mu$ $f(x)$ $[0,\pi]$ $\pi\mu$

Таким образом, пусть будет pdf для , и пусть : цель теперь состоит в том, чтобы оценить $p(x)$ $X\sim\mathcal{U}(0,\pi)$ $Y\sim f(X)$

μ = E [Y] = E [f (X)] = \int_{R} f (x) p (x) d x = \int_{0}^{π} \frac{1}{\cos (x)^{2} + x^{2}} \frac{1}{π} d x

$\mu=\mathbb{E}[Y]=\mathbb{E}[f(X)]=\int_{\mathbb{R}}f(x)p(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}\frac{1}{\pi}dx$

используя важность выборки. Я выполнил симуляцию в R:

# clear the environment and set the seed for reproducibility
rm(list=ls())
gc()
graphics.off()
set.seed(1)

# function to be integrated
f <- function(x){
    1 / (cos(x)^2+x^2)
}

# importance sampling
importance.sampling <- function(lambda, f, B){
    x <- rexp(B, lambda) 
    f(x) / dexp(x, lambda)*dunif(x, 0, pi)
}

# mean value of f
mu.num <- integrate(f,0,pi)$value/pi

# initialize code
means  <- 0
sigmas <- 0
error  <- 0
CI.min <- 0
CI.max <- 0
CI.covers.parameter <- FALSE

# set a value for lambda: we will repeat importance sampling N times to verify
# coverage
N <- 100
lambda <- rep(20,N)

# set the sample size for importance sampling
B <- 10^4

# - estimate the mean value of f using importance sampling, N times
# - compute a confidence interval for the mean each time
# - CI.covers.parameter is set to TRUE if the estimated confidence 
#   interval contains the mean value computed by integrate, otherwise
# is set to FALSE
j <- 0
for(i in lambda){
    I <- importance.sampling(i, f, B)
    j <- j + 1
    mu <- mean(I)
    std <- sd(I)
    lower.CB <- mu - 1.96*std/sqrt(B)  
    upper.CB <- mu + 1.96*std/sqrt(B)  
    means[j] <- mu
    sigmas[j] <- std
    error[j] <- abs(mu-mu.num)
    CI.min[j] <- lower.CB
    CI.max[j] <- upper.CB
    CI.covers.parameter[j] <- lower.CB < mu.num & mu.num < upper.CB
}

# build a dataframe in case you want to have a look at the results for each run
df <- data.frame(lambda, means, sigmas, error, CI.min, CI.max, CI.covers.parameter)

# so, what's the coverage?
mean(CI.covers.parameter)
# [1] 0.19

Код в основном является простой реализацией выборки важности, следуя обозначениям, использованным здесь . Затем выборка важности повторяется раз, чтобы получить множественные оценки , и каждый раз проверяется, покрывает ли 95-процентный интервал фактическое среднее значение или нет. $N$ $\mu$

Как видите, для фактическое покрытие составляет всего 0,19. И увеличение до значений, таких как , не помогает (охват еще меньше, 0,15). Почему это происходит? $\lambda=20$ $B$ $10^6$

r simulation exponential importance-sampling

— DeltaIV
источник

Использование функции важности бесконечной поддержки для конечного интеграла поддержки не является оптимальным, так как часть моделирования используется, так сказать, для моделирования нулей. По крайней мере, обрежьте экспоненту в , что легко сделать и смоделировать.

π

$\pi$

— Сиань

@ Сиань, конечно, я согласен, если бы мне пришлось оценивать этот интеграл с помощью выборки по важности, я бы не использовал это распределение по важности, но я пытался ответить на исходный вопрос, который требовал использования экспоненциального распределения. Моя проблема заключалась в том, что, даже если этот подход далек от оптимального, охват все равно должен увеличиваться (в среднем) как . И это то, что показал Гринпаркер.

B \to \infty

$B\to\infty$

— DeltaIV

Выборка важности весьма чувствительна к выбору распределения важности. Поскольку вы выбрали , сэмплы, которые вы рисуете, будут иметь среднее значение с дисперсией . Это дистрибутив вы получаете $\lambda = 20$ rexp $1/20$ $1/400$

Тем не менее, интеграл, который вы хотите оценить, идет от 0 до . Итак, вы хотите использовать который дает вам такой диапазон. Я использую . $\pi =3.14$ $\lambda$ $\lambda = 1$

Используя я смогу исследовать полное целое пространство от 0 до , и, похоже, будет потрачено только несколько ничьих над . Теперь я перезапускаю ваш код и меняю только . $\lambda = 1$ $\pi$ $\pi$ $\lambda = 1$

# clear the environment and set the seed for reproducibility
rm(list=ls())
gc()
graphics.off()
set.seed(1)

# function to be integrated
f <- function(x){
  1 / (cos(x)^2+x^2)
}

# importance sampling
importance.sampling <- function(lambda, f, B){
  x <- rexp(B, lambda) 
  f(x) / dexp(x, lambda)*dunif(x, 0, pi)
}

# mean value of f
mu.num <- integrate(f,0,pi)$value/pi

# initialize code
means  <- 0
sigmas <- 0
error  <- 0
CI.min <- 0
CI.max <- 0
CI.covers.parameter <- FALSE

# set a value for lambda: we will repeat importance sampling N times to verify
# coverage
N <- 100
lambda <- rep(1,N)

# set the sample size for importance sampling
B <- 10^4

# - estimate the mean value of f using importance sampling, N times
# - compute a confidence interval for the mean each time
# - CI.covers.parameter is set to TRUE if the estimated confidence 
#   interval contains the mean value computed by integrate, otherwise
# is set to FALSE
j <- 0
for(i in lambda){
  I <- importance.sampling(i, f, B)
  j <- j + 1
  mu <- mean(I)
  std <- sd(I)
  lower.CB <- mu - 1.96*std/sqrt(B)  
  upper.CB <- mu + 1.96*std/sqrt(B)  
  means[j] <- mu
  sigmas[j] <- std
  error[j] <- abs(mu-mu.num)
  CI.min[j] <- lower.CB
  CI.max[j] <- upper.CB
  CI.covers.parameter[j] <- lower.CB < mu.num & mu.num < upper.CB
}

# build a dataframe in case you want to have a look at the results for each run
df <- data.frame(lambda, means, sigmas, error, CI.min, CI.max, CI.covers.parameter)

# so, what's the coverage?
mean(CI.covers.parameter)
#[1] .95

Если вы поиграете с , вы увидите, что если вы сделаете его действительно маленьким (.00001) или большим, вероятности покрытия будут плохими. $\lambda$

РЕДАКТИРОВАТЬ-------

Относительно уменьшения вероятности покрытия, когда вы переходите от к , это просто случайность, основанная на том факте, что вы используете повторений. Доверительный интервал для вероятности покрытия при составляет $B = 10^4$ $B = 10^6$ $N = 100$ $B = 10^4$

.19 \pm 1.96 * \sqrt{\frac{.19 * (1 - .19)}{100}} = .19 \pm .0769 = (.1131, .2669) .

$.19 \pm 1.96*\sqrt{\dfrac{.19*(1-.19)}{100}} = .19 \pm .0769 = (.1131, .2669)\,.$

Таким образом, вы не можете сказать, что увеличение значительно снижает вероятность покрытия. $B = 10^6$

Фактически, в вашем коде для того же начального числа измените на , затем при вероятность покрытия составляет 0,123, а при вероятность покрытия равна . $N = 100$ $N = 1000$ $B = 10^4$ $B = 10^6$ $.158$

Теперь доверительный интервал около .123 составляет

.123 \pm 1.96 \sqrt{\frac{.123 * (1 - .123)}{1000}} = .123 \pm .0203 = (.102, .143) .

$.123 \pm 1.96\sqrt{\dfrac{.123*(1 - .123)}{1000}} = .123 \pm .0203 = (.102, .143)\,.$

Таким образом, теперь с репликаций вы получаете, что вероятность покрытия значительно увеличивается. $N = 1000$

— Greenparker
источник

Да, я знаю, что покрытие меняется с : в частности, наилучшее покрытие получается при . Теперь я понимаю, что, поскольку CI для выборочного среднего значения основан на CLT, это асимптотический результат. Таким образом, вполне может быть, что изменение влияет на число выборок, необходимых, чтобы, так сказать, приблизиться к "асимптотическому режиму". Но дело в том, почему при охват уменьшается от размера выборки до размера выборки ? Конечно, это должно увеличиться, если плохое покрытие было только из-за высокого значения ?

λ

$\lambda$

0.1 < λ < 2

$0.1<\lambda<2$

λ

$\lambda$

λ = 20

$\lambda =20$

10^{4}

$10^4$

10^{6}

$10^6$

λ

$\lambda$

— DeltaIV

@DeltaIV Я сделал правку, чтобы ответить на этот вопрос. Суть в том, что недостаточно для того, чтобы что-то сказать с уверенностью.

N = 100

$N = 100$

— Greenparker

ах блестящий! Я не думал о формировании доверительного интервала для самой доли покрытия , а не только для среднего значения. Так же, как ничтожество, я бы не использовал доверительный интервал Уолда для доверительного интервала пропорции. Однако, поскольку пропорция не равна 0 и 1, а количество повторов (во втором случае, ) относительно велико, вероятно, использование интервала Уилсона или Джеффриса не имело бы никакого значения. Я подожду немного, чтобы посмотреть, есть ли другие ответы, но я бы сказал, что вы полностью заслуживаете +100 :)

N = 1000

$N=1000$

— DeltaIV