Вариационный Байес в сочетании с Монте-Карло

Я читаю вариационный байесовский алгоритм, и, насколько я понимаю, все сводится к мысли, что вы приближаете (где - скрытые переменные вашей модели и наблюдаемые данные) с функцией , делая предположение, что факторизуется как где является подмножеством скрытых переменных. Тогда можно показать, что оптимальный фактор равен: $p(z\mid x)$ $z$ $x$ $q(z)$ $q$ $q_i(z_i)$ $z_i$ $q_i(z_i)$

Q_{я}^{*} (Z_{я}) знак равно ⟨ пер п (Икс, Z) ⟩_{Z / я} + Уст.

$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$

Где угловые скобки обозначают ожидание по всем скрытым переменным, кроме относительно распределения . $z_i$ $q(z)$

Теперь это выражение обычно оценивается аналитически, чтобы дать точный ответ на приблизительное целевое значение. Однако мне пришло в голову, что, поскольку это ожидание, очевидным подходом является аппроксимация этого ожидания путем выборки. Это дало бы вам приблизительный ответ на приблизительную целевую функцию, но это делает для очень простого алгоритма, возможно, для случаев, когда аналитический подход невозможен.

У меня вопрос, это известный подход ? У него есть имя? Есть ли причины, по которым он может работать не так хорошо, или может не дать такой простой алгоритм?

variational-bayes

— Питер
источник

Я думаю, что более серьезной проблемой будет преуменьшение неопределенности, которое обычно дают VB-приближения.

— вероятностная

Признаюсь, это не та область, которую я знаю очень хорошо, так что возьмите это с крошкой соли.

Прежде всего, обратите внимание, что то, что вы предлагаете, не приводит к такому простому алгоритму: чтобы вычислить новое , нам не нужно вычислять единственное ожидаемое значение (например, среднее значение или дисперсию), но ожидаемое значение целой функции. Это сложно в вычислительном отношении и потребует от вас приближения истинного к некоторому (например, мы могли бы найти приближение гистограммы) $q^\star_i$ $q^\star$ $\tilde q$

$q_i$

То, что вы предлагаете, не так просто, но это довольно близко к реальному методу, который был предложен совсем недавно.

— Гийом Дехене
источник