Шаги, чтобы выяснить апостериорное распределение, когда может быть достаточно просто иметь аналитическую форму?

Это также спросили в вычислительной науке.

Я пытаюсь вычислить байесовскую оценку некоторых коэффициентов для авторегрессии с 11 выборками данных:

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$ где

ϵ_{i}

$\epsilon_{i}$ является гауссовым со средним 0 и дисперсией

σ_{e}^{2}

$\sigma_{e}^{2}$ априорное распределение на векторе

(μ, α)^{t}

$(\mu, \alpha)^{t}$ является гауссовым со средним

(0, 0)

$(0,0)$ и диагональной ковариационной матрицы с диагональными элементами равны до

σ_{p}^{2}

$\sigma_{p}^{2}$ .

Исходя из формулы авторегрессии, это означает, что распределение точек данных ( $Y_{i}$ ) является нормальным со средним $\mu + \alpha\cdot{}Y_{i-1}$ и дисперсия $\sigma_{e}^{2}$ . Таким образом, плотность для всех точек данных $(Y)$ совместно (при условии независимости, что хорошо для программы, которую я пишу), будет:

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

По теореме Байеса мы можем взять произведение вышеуказанной плотности с предыдущей плотностью, и тогда нам просто понадобится нормализующая константа. Я предполагаю, что это должно быть гауссовским распределением, поэтому мы можем беспокоиться о нормализующей константе в конце, а не явно вычислять ее с интегралами по и . $\mu$ $\alpha$

Это часть, с которой у меня проблемы. Как вычислить умножение предыдущей плотности (которая является многомерной) и этот продукт одномерных плотностей данных? Апостериор должен быть просто плотностью и , но я не могу понять, как вы получите это из такого продукта. $\mu$ $\alpha$

Любые указатели действительно полезны, даже если вы просто указываете мне правильное направление, а затем мне нужно пойти и заняться грязной алгеброй (это то, что я уже пытался несколько раз).

В качестве отправной точки, вот форма числителя из правила Байеса:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Вопрос состоит в том, как увидеть, что это приводит к гауссовой плотности . $(\mu, \alpha)^{t}$

добавленной

В конечном итоге это сводится к следующей общей проблеме. Если задано некоторое квадратичное выражение, как Как вы положить , что в квадратичной форме

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

для некоторого 2х2 матрицы

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$ ? Это достаточно просто в легких случаях, но какой процесс вы используете , чтобы получить средние

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Обратите внимание, я попробовал простой вариант расширения формулы матрицы, а затем попытался приравнять коэффициенты, как указано выше. Проблема, в моем случае, состоит в том, что константа равна нулю, и тогда я в итоге получаю три уравнения с двумя неизвестными, поэтому она недостаточно определена, чтобы просто соответствовать коэффициентам (даже если я приму матрицу симметричной квадратичной формы). $L$

bayesian mathematical-statistics posterior

— Ely
источник

Мой ответ на [этот вопрос] ( stats.stackexchange.com/questions/22852/… ) может быть полезным. Обратите внимание, что вам нужен предварительный просмотр для вашего первого наблюдения - итерации на этом заканчиваются.

— вероятностная

Я не понимаю, зачем мне это нужно в этом случае. Я должен относиться к временным интервалам так, как будто они условно независимы, учитывая наблюдения. Обратите внимание на то, что произведение плотности суставов только от

. Я не думаю, что я должен получить здесь последовательно обновляемую формулу, только одну формулу для апостериорного

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— Ely

«Многофакторный» в предшествующем

не противоречит «одномерному» в плотностях данных, потому что они являются плотностями в

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Сиань

Подсказка, которая была в моем ответе на предыдущий ответ, состоит в том, чтобы посмотреть, как я интегрировал параметры - потому что вы будете делать точно такие же интегралы здесь. Ваш вопрос предполагает известные параметры дисперсии, поэтому они являются константами. Вам нужно только посмотреть на зависимость от числителя. Чтобы увидеть это, обратите внимание, что мы можем написать: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Обратите внимание, как мы можем вытащить первый фактор из двойного интеграла по знаменателю, и он отменяется с помощью числителя. Мы также можем вытащить сумму квадратов $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ и он также будет отменен. Интеграл, с которым мы остались, теперь (после расширения квадрата): $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Теперь мы можем использовать общий результат из обычного PDF.

Это следует из заполнения квадрата наи того, чтоне зависит от. Отметим, что внутренний интеграл поимеет вид

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

. Выполнив этот интеграл, вы обнаружите, что оставшийся интеграл по

также имеет эту форму, поэтому вы можете снова использовать эту формулу с другим

. Тогда вы должны быть в состоянии написать свой апостериорный в форме

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$

a, b, c

$a,b,c$

где

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$ представляет собой

матрицы

2 \times 2

$2\times 2$

Дайте мне знать, если вам нужно больше подсказок.

Обновить

(примечание: правильная формула, должно быть $10\mu^2$ вместо ) $\mu^2$

если мы посмотрим на квадратичную форму, которую вы написали в обновлении, мы заметим, что есть коэффициентов ( имеет значения для апостериорных, поскольку мы всегда можем добавить любую константу, которая будет отменена в знаменателе). Мы также имеем неизвестных . Следовательно, это «хорошо поставленная» задача, если уравнения линейно независимы. Если разложить квадратные $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ получим: $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

$A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Таким образом, оценки определяются как:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

$4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

$X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$ .

— probabilityislogic
источник

Это не особенно полезно, потому что я специально упомянул, что здесь важен не знаменатель. Знаменатель - это просто нормализующая константа, которая станет очевидной, как только вы уменьшите числитель до гауссовой формы. Таким образом, уловки для оценки интегралов в знаменателе математически действительно круты, но просто не нужны для моего приложения. Единственная проблема, с которой мне нужно решить, это манипулирование числителем.

— Ely

(α, μ)

$(\alpha,\mu)$

@ems - вычисляя нормирующую постоянную, вы построите требуемую квадратичную форму. он будет содержать условия, необходимые для заполнения квадрата

— вероятностная

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

Огромное спасибо за подробное дополнение. Я делал глупые ошибки, пытаясь вычислить алгебру, чтобы выяснить квадратичную форму. Ваши комментарии об отношении к оценщику OLS также очень интересны и ценятся. Я думаю, что это ускорит мой код, потому что я буду в состоянии рисовать образцы из аналитической формы, которая имеет встроенные оптимизированные методы. Мой первоначальный план состоял в том, чтобы использовать Метрополис-Гастингс для выборки из этого, но это было очень медленно. Благодарность!

— Ely