Как оптимально распределить ничьи при расчете множественных ожиданий

Предположим, мы хотим вычислить некоторое ожидание:

E_{Y} Е_{Икс | Y} [е (Икс, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Предположим, мы хотим приблизить это с помощью моделирования Монте-Карло.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Но предположим , что это дорого брать пробы из обоих распределений, так что мы только можем себе позволить сделать фиксированное число . $K$

Как мы должны выделить ? Примеры включают в себя ничьи для каждого распределения или в крайнем случае, одну ничью во внешнем и во внутреннем, и т. Д. ..... $K$ $K/2$ $K-1$

Моя интуиция говорит мне, что это будет связано с дисперсией / энтропией распределений относительно друг друга. Предположим , что внешняя одна точка массы, то деление , что сводит к минимуму MC ошибка будет ничья 1 из и нарисовать из . $K$ $Y$ $K-1$ $X|Y$

Надеюсь, это было ясно.

— wolfsatthedoor
источник

Исправлено для вас

— wolfsatthedoor

«Напротив» и ваш комментарий к ответу @ Xi'ans, кажется, указывают на то, что вы считаете возможным нарисовать внешнюю переменную больше раз, чем внутреннюю, но как это может иметь смысл - не все выходы, для которых прорисованы прорехи?

0

$0$

— Юхо Коккала

Достаточно справедливо, я думаю, минимум один дро на внешнюю. Или вы могли бы подумать о программировании, чтобы сохранить ничью, я полагаю

— wolfsatthedoor

@robertevansanders Пожалуйста, подтвердите правильность толкования вашего вопроса в первых двух предложениях ответа Сианя

— Юхо Коккала

Как ты и сказал, да, но

— поменяй

Это очень интересный вопрос с небольшим количеством документации в литературе Монте-Карло, кроме как в связи со стратификацией и Рао-Блэквеллизацией . Возможно, это связано с тем, что вычисления ожидаемой условной дисперсии и дисперсии условного ожидания редко осуществимы.

Во-первых, давайте предположим, что вы запускаете симуляций из , и для каждого симулированного вы запускаете симуляций из , . Ваша оценка Монте-Карло тогда $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$ Дисперсия этой оценки разлагается следующим образом:

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

Поэтомуесли ктохочетчтобы свестиминимуму эту дисперсию при выборе оптимальной является

. Подразумевается, что

. За исключением случаев, когда первый член отклонения является нулевым, в этом случае это не имеет значения. Однако, как обсуждалось в комментариях, предположение

нереально, поскольку оно не учитывает производство одного

[или предполагает, что это приходит бесплатно].

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$

R = K

$R=K$

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Теперь давайте предположим , различные затраты моделирования и бюджетное ограничение , а это означает , что «s стоимости несколько раз , чтобы смоделировать , чем » с. Вышеуказанное разложение дисперсии составляет $R+aRS=b$ $y_{rs}$ $a$ $x_r$ которое можно минимизировать вкак

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

[ближайшее целое число при ограничениях

],исключениемкогда первая дисперсия равна нулю,в этом случае

. Когда

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$

, минимальная дисперсия соответствует максимуму

, что приводит к

в текущем формализме.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Отметим также, что это решение следует сравнивать с симметричным решением, когда внутренний интеграл находится в заданном а внешний интеграл против маргинального в (предполагая, что моделирования также возможны в этом порядке). $X$ $Y$ $Y$

$S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Сиань
источник

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

@ Сиань да Калькутта верна, ваше решение, как правило, не подходит. Предположим теперь, что внутренняя переменная имеет вырожденное распределение, а внешняя имеет значимую дисперсию, тогда вы захотите сэмплировать как можно меньше внутренних дро

— wolfsatthedoor

Я думаю, что ваш ответ не может быть правильным. Предположим, что внутреннее распределение вырождено, а внешнее имеет большую дисперсию, как S может быть 1

— wolfsatthedoor

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$ ,

— Сиань