Оценка ковариационного апостериорного распределения многомерного гауссова

15

Мне нужно «изучить» распределение двумерного гауссиана с несколькими выборками, но хорошая гипотеза о предыдущем распределении, поэтому я хотел бы использовать байесовский подход.

Я определил свой предыдущий:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

И мое распределение дало гипотезу

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Теперь я знаю, благодаря здесь , чтобы оценить среднее значение данных

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Я могу вычислить:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Теперь возникает вопрос, может быть, я ошибаюсь, но мне кажется, что $\mathbf{\Sigma_n}$ - это просто ковариационная матрица для предполагаемого параметра $\mathbf{\mu_n}$ , а не предполагаемая ковариация моих данных. То, что я хотел бы, чтобы вычислить также

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

для того, чтобы получить полностью определенный дистрибутив на основе моих данных.

Это возможно? Это уже решено вычислением $\mathbf{\Sigma_n}$ и это просто неверно выражено формулой выше (или я просто неверно интерпретирую это)? Ссылки будут оценены. Большое спасибо.

РЕДАКТИРОВАТЬ

Из комментариев выяснилось, что мой подход был «неправильным» в том смысле, что я предполагал постоянную ковариацию, определяемую $\mathbf{\Sigma}$ . Что мне нужно, так это поставить априор на него, $\mathbf{P}(\mathbf{\Sigma})$ , но я не знаю, какой дистрибутив мне следует использовать, и какова процедура его обновления.

— unziberla
источник

Вы уже указали ковариацию своих данных как - и вы не указали предыдущий дистрибутив, который будет обновляться из?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Корона

Я понимаю вашу точку зрения. Таким образом, с моим подходом я в основном предполагал, что дисперсия была постоянной и определенной. Если я хочу оценить это, мне нужно предварительно. Теперь моя проблема в том, что не понятно, как определите его, и какой будет подходящий для него дистрибутив, но, похоже, это выходит за рамки первого вопроса.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

Тогда поменяйте вопрос :-)

— Corone

11

Вы можете выполнить байесовское обновление для ковариационной структуры в том же духе, в котором вы обновили среднее значение. Сопряженным предшествующим для ковариационной матрицы многовариантного нормали является распределение Инверс-Уишарта, поэтому имеет смысл начать с него,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Затем, когда вы получите образец длины вы можете рассчитать примерную ковариационную оценку $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Затем это можно использовать для обновления вашей оценки ковариационной матрицы

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Вы можете использовать это среднее значение в качестве вашей точечной оценки ковариации (апостериорная средняя оценка)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

или вы можете выбрать режим (максимальный апостериорный оценщик)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
источник

Большое спасибо. Теперь я предполагаю, что что-то изменится в моем процессе оценки. В качестве первого шага я должен оценить ковариацию с вашей процедурой, а затем мое распределение с учетом предполагаемой гипотезы woulb будет и так как оценивается и имеет свое собственное распределение, я уверен, что это каким-то образом изменит мою предыдущую формулу для вычисления (как это происходит на гауссовой MLE при использовании выборочной дисперсии).

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla

Подход, который вы описываете, будет вместо этого использовать чтобы у меня было фактическое значение ковариации, как если бы я знал это раньше. При частом подходе это звучит неправильно, но, может быть, я чего-то упускаю из-за того, что я предполагаю, что предшествующее известно, и это делает процедуру правильной?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla

7

Хорошо, я нашел реальное решение для моей проблемы. Я публикую его, даже если правильный ответ на мой (неуместный) вопрос выбран.

В основном, мой вопрос объясняет, как оценить среднее значение, зная ковариацию, и ответ, как оценить ковариацию, зная среднее значение. Но моей настоящей проблемой была оценка с обоими параметрами неизвестно.

Я нашел ответ в Википедии с выводом, объясненным здесь . Сопряженный априор многовариантной нормали - это Normal-inverse-Wishart, который в основном является распределением по многомерным нормалям.

Предыдущие параметры, которые необходимо указать: для определения среднего значения, для определения ковариации и два скалярных значения и которые я бы сказал, определяют, насколько мы уверены по оценке первых двух параметров соответственно. $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

Обновленное распределение после наблюдения выборок -вариатной нормали имеет вид $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

где

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

поэтому мои желаемые оценочные параметры

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
источник