Связь между вариационным байесовским и ЭМ

Я где-то читал, что вариационный метод Байеса является обобщением алгоритма EM. Действительно, итерационные части алгоритмов очень похожи. Чтобы проверить, является ли алгоритм EM специальной версией Вариационного Байеса, я попробовал следующее:

$Y$ - данные, - коллекция скрытых переменных, а - параметры. В вариационном байесовском преобразовании мы можем сделать такое приближение, что . Где s - простые, поддающиеся распределению. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Поскольку EM-алгоритм находит точечную оценку MAP, я подумал, что вариационные байесовские преобразования могут сходиться к EM, если я использую дельта-функцию, такую что: , - это первая оценка параметров, как это обычно делается в EM. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Когда , который минимизирует расхождение KL, находится по формуле Приведенная выше формула упрощается до , этот шаг оказывается эквивалентом шага Ожидания алгоритма EM! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{Икс}^{1} (Икс) знак равно \frac{ехр (Е_{δ_{Θ^{1}}} [пер п (Икс, Y, Θ)])}{\int ехр (Е_{δ_{Θ^{1}}} [пер п (Икс, Y, Θ)]) d Икс}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Но я не могу вывести шаг Максимизации как продолжение этого. На следующем шаге нам нужно вычислить и в соответствии с правилом вариации Байеса это: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Действительно ли алгоритмы VB и EM действительно связаны таким образом? Как мы можем вывести ЭМ как частный случай вариационных байесовских колебаний, верно ли мое решение?

bayesian expectation-maximization variational-bayes

— Уфук Джан Бичичи
источник

Где вы читали, что алгоритм EM находит оценку MAP? Взаимосвязь между вариационным выводом и ЭМ станет ясной, как только вы поймете точку зрения ЭМ, представленную в этой статье Нила и Хинтона (1998) . Смотрите также мой ответ здесь .

— Лукас

Я думаю, что я изучил EM-алгоритм таким же образом, как объясняется в этой статье, он рассматривается как проблема максимизации нижней границы. Используя равенство Дженсена и вариационное исчисление, можно обнаружить, что на этапе ожидания - это распределение, которое максимизирует нижнюю границу для а на этапе максимизации можно найти , что является максимумом на нижней границе. Итак, это похоже на вариационный байесовский. (И это сходится к локальному максимуму маргинального апостериора, отсюда и оценка MAP)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici

Извините, я недостаточно внимательно прочитал ваш вопрос. Я полагаю, что ваш шаг максимизации для вычисления действителен только в том случае, если вы разрешаете какое-либо распределение, то есть если вы только делаете предположение о факторизации. Но вы также предположили, что является дельта-распределением. Попробуйте явно максимизировать нижнюю границу относительно , параметра .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Лукас

Я нашел на странице 21 презентации cs.cmu.edu/~tom/10-702/Zoubin-702.pdf сравнение EM и VB, аналогично с использованием функции Дирака. Но как VB сводится к EM, не дано.

— Уфук Джан Бичичи

Ваш подход правильный. EM эквивалентно VB при условии, что приближенный апостериорный для ограничен точечной массой. (Это упоминается без доказательства на стр. 337 Байесовского анализа данных .) Пусть будет неизвестным местоположением этой точечной массы: VB будет минимизировать следующую KL-дивергенцию: Минимум над дает E-шаг EM, а минимум над дает M-шаг EM. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) знак равно δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Конечно, если бы вы действительно оценили расхождение KL, оно было бы бесконечным. Но это не проблема, если вы считаете дельта-функцию пределом.

— Том Минка
источник

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Ибо Ян