Байесовское моделирование с использованием многомерного нормального с ковариатным

Предположим, у вас есть объясняющая переменная ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ где $s$ представляет данную координату. У вас также есть переменная ответа ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$ . Теперь мы можем объединить обе переменные как:

W (s) знак равно (\begin{array}{ccc} Икс (s) \\ Y (s) \end{array}) ~ N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

В этом случае мы просто выбираем $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ а $T$ - ковариационная матрица, которая описывает соотношение между $X$ и $Y$ . Это описывает только значения $X$ и $Y$ в $s$ . Так как у нас есть больше точек из других мест для $X$ и $Y$ , мы можем описать больше значений ${\bf{W}}(s)$ следующим образом:

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Вы заметите, что мы переставили компоненты $\bf{X}$ и $\bf{Y}$ чтобы получить все $X(s_i)$ в столбце, и после этого объединяем все $Y(s_i)$ вместе. Каждый компонент $H(\phi)_{ij}$ является корреляционной функцией $\rho(s_i, s_j)$ а $T$ такой же, как указано выше. Причина , мы имеем ковариационная $T\otimes H(\phi)$ , потому что мы предполагаем , что можно отделить матрицу ковариации , как $C(s, s')=\rho(s, s') T$ .

Вопрос 1: Когда я вычисляю условное , я на самом деле создаю набор значений на основе , верный? У меня уже есть поэтому мне было бы интереснее предсказать новую точку . В этом случае у меня должна быть матрица определенная как ${\bf{Y}}\mid{\bf{X}}$ $\bf{Y}$ $\bf{X}$ $\bf{Y}$ $y(s_{0})$ $H^{*}(\phi)$

{ЧАС}^{*} (φ) знак равно (\begin{array}{ccc} ЧАС (φ) & час \\ час & ρ (0, φ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

в котором является вектором . Поэтому мы можем построить вектор (без перестановки): $\boldsymbol{h}(\phi)$ $\rho(s_{0} - s_{j};\phi)$

W^{*} знак равно {(W (s_{1}), ..., W (s_{N}), W (s_{0}))}^{T} ~ N (\begin{array}{ccc} 1_{N + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, ЧАС (φ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

А теперь я просто переставил, чтобы получить совместное распределение и получить условное . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

Это верно?

Вопрос 2: Для прогнозирования в статье, которую я читаю, указано, что я должен использовать это условное распределение и получить апостериорный распределение , но я не уверен, как получить апостериорное распределение для параметров. Возможно, я мог бы использовать дистрибутив который я считаю точно так же, как а затем просто используйте теорему Байеса для получения $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

Вопрос 3: В конце подраздела автор говорит следующее:

Для предсказания у нас нет . Это не создает никаких новых проблем, так как может рассматриваться как скрытая переменная и включаться в Это приводит только к дополнительному рисованию в каждой итерации Гиббса и является тривиальным дополнением к вычислительной задаче. ${\bf{X}}(s_0)$ $\bf{x}'$

Что означает этот абзац?

Кстати, эту процедуру можно найти в этой статье (стр. 8), но, как вы можете видеть, мне нужно немного больше деталей.

Благодаря!

— Роберт Смит
источник

Проголосовал за миграцию за запрос OP .

Я бы сказал, что правильно на оба ваших ответа на вопросы 1 и 2. Вопрос 3 означает, что ненаблюдаемый рассматривается как дополнительный параметр, поверх , с использованием полного условного как и прежде для .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— Сиань

Вопрос 1: Учитывая вашу общую вероятностную модель условное распределение по учитывая, что также является нормальным, со средним значением и дисперсионно-ковариационная матрица

(\begin{array}{ccc} Икс \\ Y \end{array}) ~ N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) знак равно N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes ЧАС (φ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (Икс - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21},

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (Эти формулы дословно скопированы со страницы Википедии о многомерных нормалях .) То же самое относится к поскольку - еще один нормальный вектор.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

Вопрос 2: Прогностическая определяется как то есть путем интегрирования параметров с использованием апостериорного распределения этих постеров, учитывая текущие данные . Таким образом, есть еще немного к полному ответу. Очевидно, что если вам нужно только симулировать из предиктивного, ваше представление о симуляции совместно из и тогда из является действительным. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

п (Y (s_{0}) | Икс (s_{0}), Икс, Y) знак равно \int п (Y (s_{0}) | Икс (s_{0}), Икс, Y, μ, T, φ) п (μ, T, φ | Икс (s_{0}), Икс, Y) d μ d T d φ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

Вопрос 3: Если не наблюдается, пара может быть предсказана из другого предиктивного значения $x(s_0)$ $(x(s_0),y(s_0))$

п (Икс (s_{0}), Y (s_{0}) | Икс, Y) знак равно \int п (Икс (s_{0}), Y (s_{0}) | Икс, Y, μ, T, φ) п (μ, T, φ | Икс, Y) d μ d T d φ,

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

При моделировании из этого предиктора, поскольку он недоступен в управляемой форме, можно запустить сэмплер Гиббса, который итеративно моделирует

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

или объединить шаги 4 и 5 в один шаг

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— Сиань
источник