Вариационный вывод, дивергенция KL требует истинного

По моему (очень скромному) пониманию вариационного вывода, каждый пытается приблизить неизвестное распределение , найдя распределение q, которое оптимизирует следующее:$p$$q$

$$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$$

Всякий раз, когда я вкладываю время в понимание вариационного вывода, я продолжаю придерживаться этой формулы и не могу не чувствовать, что упускаю суть. Кажется, мне нужно знать , чтобы вычислить K L ( p | | q ) . Но весь смысл был в том, что я не знал этого распределения с .$p$$KL(p||q)$$p$

Именно этот момент меня беспокоит каждый раз, когда я пытаюсь прочитать что-то вариативное. Что мне не хватает?

РЕДАКТИРОВАТЬ :

Я добавлю несколько дополнительных комментариев здесь в результате ответа @wij, я попытаюсь быть более точным.

В случаях, которые меня интересуют, действительно кажется вполне разумным считать, что имеет место следующее;

$$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$$

$p$$p(D|\theta)$$p(\theta)$$q$$KL(p(\theta|D) || q)$$p(D|\theta)p(\theta)$

$KL$

$p$

$Y = \{y_i\}_{i=1}^n$$p(x|Y)$$p(y|x)$$p(x)$$x\in\mathbb{R}^d$

$$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$$

$p(x|Y)$$p(Y)$$p(y|x)$$p(x|Y)$

$q$$\arg \min_q KL(p||q)$$p$$q$$q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$$q$

$$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$$

гдеТочная формула не имеет большого значения. Дело в том, что приблизительное можно найти, опираясь на знание истинного и допущения в форме, которую должен принять приближенный .$p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$$q$$p$$q$

Обновить

Ниже приводится ответ на обновленную часть вопроса. Я только что понял, что думаю о . Я всегда буду использовать для истинного количества и для приблизительного. В вариационном выводе или вариационном байесовском уравнении определяется как$KL(q||p(x|Y))$$p$$q$$q$

$$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$$

С набором ограничений как указано выше, решение является тем, которое было дано ранее. Теперь, если вы думаете о$\mathcal{Q}$

$$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$$

для определенного как подмножество экспоненциального семейства, этот вывод называется распространением ожидания (EP). Решение для в этом случае таково, что его моменты совпадают моментами . q p ( x | Y $\mathcal{Q}$$q$$p(x|Y)$

В любом случае, вы правы, говоря, что по сути вы пытаетесь аппроксимировать истинное апостериорное распределение в смысле KL распределением ограниченным в некоторой форме.$q$