Понимание байесовских прогнозирующих распределений

9

Я прохожу курс «Введение в Байес» и испытываю некоторые затруднения с пониманием предиктивного распределения. Я понимаю, почему они полезны, и я знаком с определением, но есть некоторые вещи, которые я не совсем понимаю.

1) Как получить правильное предсказательное распределение для вектора новых наблюдений

Предположим, что мы построили модель выборки $p(y_i | \theta)$ для данных и априорного $p(\theta)$ . Предположим, что наблюдения условно независимы с учетом . $y_i$ $\theta$

Мы наблюдали некоторые данные , и мы обновляем наш предыдущий на задний . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Если мы хотим предсказать вектор новых наблюдений , я думаю, что мы должны попытаться получить апостериорный прогноз, используя эту формулу который не равен поэтому предсказанные наблюдения не являются независимыми, верно? $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

Скажи, что Бета ( ) и Бином ( ) для фиксированного . В этом случае, если бы я хотел смоделировать 6 новых , если я правильно понял, было бы неправильно моделировать 6 ничьих независимо от бета-биномиального распределения, которое соответствует апостериорному предиктиву для одного наблюдения. Это правильно? Я не знаю, как интерпретировать, что наблюдения не являются независимыми незначительно, и я не уверен, что понимаю это правильно. $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

Имитация из апостериорных предикатов

Много раз, когда мы моделируем данные из апостериорного прогнозирования, мы следуем этой схеме:

Для от 1 до : $b$ $B$

1) Образец из . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Затем смоделируйте новые данные из . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Я не совсем знаю, как доказать, что эта схема работает, хотя выглядит интуитивно. Кроме того, у этого есть имя? Я пытался найти оправдание и пробовал разные имена, но мне не повезло.

Спасибо!

bayesian prediction

— Фред Л.
источник

Я задал похожий вопрос по адресу stats.stackexchange.com/questions/72570/… но похоже, что ваш голос получил больше голосов.

— Джон

4

Предположим, что условно независимы, если . Тогда $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

$i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— Zen
источник

А как насчет, если вы получаете задний прогноз в течение нескольких периодов? Я использовал для каждого , но я понимаю, почему может иметь смысл перерисовать новую тэту.

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

— Джон

2

Я постараюсь пошагово перейти к интуиции за генерацией апостериорного прогнозирующего распределения.

Пусть будет вектором наблюдаемых данных, которые поступают из распределения вероятностей и пусть будет вектором будущих (или вне выборочных) значений, которые мы хотим предсказать. Мы предполагаем, что происходит из того же распределения, что и . Может быть соблазнительно использовать нашу лучшую оценку --- такую как оценка MLE или MAP - для получения информации об этом распределении. Тем не менее, это неизбежно проигнорирует нашу неуверенность в отношении . Таким образом, подходящим способом продолжения является усреднение по заднему распределению , а именно . Заметим также , что $y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ не зависит от заданного , так как предполагается, что это независимая выборка, взятая из того же распределения, что и . Таким образом, $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

Последовательное прогнозирующее распределение , таким образом, $\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

где - поддержка . $\Theta$ $\theta$

Теперь, как мы получаем образцы из ? Метод, который вы описываете, иногда называют методом композиции , который работает следующим образом: $p(\tilde y|y)$

для s = 1,2, ..., S do

извлечь из $\theta^{(s)}$ $p(\theta|y)$

нарисовать из $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

где, в большинстве случаев, у нас уже есть ничья из , так что требуется только второй шаг. $p(\theta|y)$

Причина, по которой это работает, довольно проста: сначала обратите внимание, что . Таким образом, выборка вектора параметров из и затем использование этого вектора для выборки из дает выборки из совместного распределения . Отсюда следует, что выборочные значения являются выборками из маргинального распределения . $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— baruuum
источник

1

Чтобы ответить на ваш первый вопрос: да, наблюдения не являются независимыми, если вы не знаете значение . Скажем, вы заметили, что имеет весьма экстремальное значение. Это может быть признаком того, что неизвестное значение самой является экстремальным, и, следовательно, следует ожидать, что другие наблюдения также будут экстремальными. $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
источник