Разъяснение максимизации ожидания

Я нашел очень полезное руководство по алгоритму EM .

Пример и картинка из урока просто великолепны.

введите описание изображения здесь

Связанный вопрос о вычислении вероятностей, как работает максимизация ожидания?

У меня есть еще один вопрос относительно того, как связать теорию, описанную в руководстве, с примером.

На этапе E EM выбирает функцию которая нижние границы и для которых . $g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

Так что же такое в нашем примере, и похоже, что он должен быть разным для каждой итерации. $g_t$

Кроме того, в примере и затем применяя их к данным, мы получаем, что и . Что для меня выглядит противоинтуитивно. У нас были некоторые предварительные предположения, мы применили их к данным и получили новые предположения, поэтому данные каким-то образом изменили предположения. Я не понимаю, почему не равно . $\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

Кроме того, возникает больше вопросов, когда вы видите дополнительное примечание 1 к этому учебному пособию. Например, что такое в нашем случае. Мне не понятно, почему неравенство жесткое, когда $Q(z)$ $Q(z)=P(z|x;\Theta)$

Спасибо.

— user16168
источник

Я нашел эти заметки очень полезными для выяснения того, что происходит в дополнительном материале.

Я отвечу на эти вопросы немного не в порядке для преемственности.

Первое: почему так

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

Второе: почему неравенство жесткое, когда

Q (Z) знак равно п (Z | Икс; θ)

$Q(z) = P(z|x;\theta)$

В сносках есть подсказка, где говорится:

равенство выполняется тогда и только тогда, когда случайная величина постоянна с вероятностью 1 (т. е. ) $y=E[y]$

подразумевая, что наш выбор делает постоянным. Чтобы увидеть это, подумайте, что: $Q$ $\frac{P(x, z; \theta)}{Q(z)}$

п (Икс, Z; θ) знак равно п (Z | Икс; θ) п (Икс; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

что делает нашу фракцию

\frac{п (Z | Икс; θ) п (Икс; θ)}{п (Z | Икс; θ)} знак равно п (Икс; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

Так что же такое и является ли оно постоянным? Хорошо, учтите, что мы вычисляем суммы по для которых этот член независим (постоянен). Давайте представим это как и это уравнение становится: $P(x; \theta)$ $z$ $C$

журнал (\underset{Z}{Σ} Q (Z) С) \geq \underset{Z}{Σ} Q (Z) журнал (С)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

отсюда мы можем довольно быстро увидеть, что две стороны равны, так как ожидание постоянной будет такой постоянной независимо от веса ( ) $Q(z)$

И наконец: что такое $g_t$

Ответ, приведенный в примечаниях, которые я связал, немного отличается от ответа в дополнительных примечаниях, но они отличаются только константой, и мы максимизируем его, поэтому он не имеет значения. Тот, что в примечаниях (с деривацией):

{грамм}_{T} (θ) знак равно журнал (п (Икс | θ^{(T)})) + \underset{Z}{Σ} п (Z | Икс; θ^{(T)}) журнал (\frac{п (Икс | Z; θ) п (Z | θ)}{п (Z | Икс; θ^{(T)}) п (Икс | θ^{(T)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

Эта сложная формула не обсуждается подробно в дополнительных примечаниях, вероятно потому, что многие из этих терминов будут константами, которые выбрасываются, когда мы максимизируем. Если вам интересно, как мы сюда попали, я рекомендую эти заметки, которые я связал.

Используя аргумент, аналогичный приведенному в ответе на второй вопрос, термин в журнале равен 1 для поэтому сумма в сумме исчезает и как и ожидалось. $g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— Майк
источник