Что такое важность выборки?

Я пытаюсь научиться подкреплению, и эта тема меня очень смущает. Я взял введение в статистику, но я просто не мог понять эту тему интуитивно.

Выборка по важности - это форма выборки из распределения, отличного от распределения по интересам, чтобы упростить получение более точных оценок параметра из распределения по интересам. Как правило, это обеспечит оценки параметра с меньшей дисперсией, чем было бы получено путем выборки непосредственно из исходного распределения с тем же размером выборки.

Применяется в разных контекстах. В целом, выборка из другого распределения позволяет отбирать больше образцов в той части распределения интересов, которая диктуется приложением (важный регион).

Одним из примеров может быть то, что вы хотите иметь выборку, которая включает в себя больше выборок из хвостов распределения, чем может обеспечить чистая случайная выборка из интересующего распределения.

Википедии статья , что я видел на эту тему слишком абстрактно. Лучше взглянуть на различные конкретные примеры. Однако он содержит ссылки на интересные приложения, такие как Байесовские сети.

Одним из примеров важности выборки в 1940-х и 1950-х годах является метод уменьшения дисперсии (форма метода Монте-Карло). См., Например, книгу «Методы Монте-Карло» Хаммерсли и Хэндскомба, опубликованную в 1964 году в виде монографии Метуэна / Чепмена и Холла и переизданную в 1966 году, а затем и другими издателями. Раздел 5.4 книги охватывает важность выборки.

Выборка по важности - это метод моделирования или метод Монте-Карло, предназначенный для аппроксимации интегралов. Термин «выборка» несколько сбивает с толку, поскольку он не предназначен для предоставления выборок из данного распределения.

Интуиция позади важности выборки состоит в том, что четко определенный интеграл, такой как можно выразить как ожидание для широкого диапазона распределений вероятностей: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ , где е обозначает плотность распределения вероятностей и Н определяется ч и е . (Обратите внимание, что H ( ⋅ ) обычно отличается от h ( ⋅ ) .)Действительно, выбор H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ приводит к равенствамH(x)f(x)=h(x)иI=Ef[H(X)]-при некоторых ограничениях на поддержкуf, что означаетf(x)>0,когдаh(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$, Следовательно, как указал В. Хубер в своем комментарии, нет единства в представлении интеграла как ожидания, а напротив, бесконечного множества таких представлений, некоторые из которых лучше, чем другие, когда-то критерий для сравнения их принято. Например, Майкл Черник упоминает выбор сторону уменьшения дисперсии оценки.$f$

Как только это элементарное свойство понято, реализация идеи заключается в том, чтобы полагаться на закон больших чисел, как и в других методах Монте-Карло, т.е. моделировать [через псевдослучайный генератор] выборку iid распространен от F и использовать приближение I = $(x_1,\ldots,x_n)$$f$который

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. это непредвзятая оценка $\mathfrak{I}$
2. почти наверняка сходится ко $\mathfrak{I}$

В зависимости от выбора распределения , выше оценки I может или не может иметь конечную дисперсию. Однако всегда существуют варианты f, которые допускают конечную дисперсию и даже сколь угодно малую дисперсию (хотя эти варианты могут быть недоступны на практике). И существуют также выбор F , которые делают важность выборки оценивания I очень плохой аппроксимации I . Это включает в себя все варианты, где дисперсия становится бесконечной, хотя недавняя статья Чаттерджи и Диакониса изучает, как сравнивать важные пробоотборники с бесконечной дисперсией. Картинка ниже взята из$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$мой блог обсуждение из бумаги и показывает плохую сходимость бесконечных дисперсии оценок.

Выборка по важности с распределением важности, целевым распределением Exp (1), распределением Exp (1/10) и интересующей функцией . Истинное значение интеграла равно 10 .$h(x)=x$$10$

[Следующее воспроизведено из нашей книги Статистические методы Монте-Карло .]

Следующий пример из Ripley (1987) показывает, почему он действительно может заплатить за генерацию из распределения, отличного от (оригинального) распределения фигурирующего в интеграле ∫ X h ( x ) f ( x $f$ представляет интерес, или, другими словами, изменить представление интеграла как ожидание от заданной плотности.

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

Пример (вероятность хвоста Коши) Предположим, что интересующей величиной является вероятность, , что переменная Коши C ( 0 , 1 ) больше 2 , то есть p = ∫ + ∞$p$${\mathcal{C}}(0,1)$$2$ При р оцениваются через эмпирический средний р 1 =

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ образца iid X 1 ,…, X m $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ , дисперсия этой оценки равна p ( 1 - p ) / m (равно 0,127 / m, так как p = 0,15 ).$\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

Эта дисперсия может быть уменьшена, принимая во внимание симметричный характер , поскольку средний р 2 = ${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ the integral above can be considered to be the expectation of $h(X) = 2/\pi(1 + X^2)$, where $X \sim {\mathcal{U}}_{[0, 2]}$. An alternative method of evaluation for $p$ is therefore $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ for $U_j \sim {\mathcal{U}}_{[0,2]}$. The variance of ${\hat{p}}_3$ is $(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$ and an integration by parts shows that it is equal to $0.0285/m$. Moreover, since $p$ can be written as $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ this integral can also be seen as the expectation of ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$ against the uniform distribution on $[0,1/2]$ and another evaluation of $p$ is $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ when $Y_j \sim {\mathcal{U}}_{[0,1/2]}$. The same integration by parts shows that the variance of ${\hat{p}}_{4}$ is then $0.95 \; 10^{-4}/m$.

Compared with ${\hat{p}}_1$, the reduction in variance brought by ${\hat p}_4$ is of order $10^{-3}$, which implies, in particular, that this evaluation requires $\sqrt{1000} \approx 32$ times fewer simulations than $\hat p_1$ to achieve the same precision. $\blacktriangleright$