ЭМ алгоритм Практика Задача

Это практическая проблема для промежуточного экзамена. Проблема в примере алгоритма EM. У меня проблемы с частью (е). Я перечисляю части (a) - (e) для завершения и в случае, если я допустил ошибку ранее.

Пусть - независимые экспоненциальные случайные величины со скоростью . К сожалению, фактические значения не наблюдаются, и мы только наблюдаем, попадают ли значения в определенные интервалы. Пусть , и для . Наблюдаемые данные состоят из .$X_1,\ldots,X_n$$\theta$$X$$X$$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$$G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$$G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$$j=1,\ldots,n$$(G_{1j},G_{2j},G_{3j})$

(а) Дайте наблюдаемую вероятность данных:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(б) Дайте полную вероятность данных

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) Выведите прогнозную плотность скрытой переменной $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(г) Электронный шаг. Дайте функцию$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

где$N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Дайте выражения для для . r = 1 , 2 , $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$$r=1,2,3$

Я перечислю свои результаты, которые, я уверен, верны, но вывод будет немного длинным для этого и без того непростого вопроса:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

Это часть, на которой я застрял, и это может быть из-за более ранней ошибки:

(е) M-Step. Найдите которая максимизируетQ ( θ , θ i$\theta$$Q(\theta,\theta^i)$

Из закона полного ожидания мы имеем Therefor$\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Затем я должен установить это значение равным нулю и решить для , но я пробовал это в течение очень долгого времени, и я не могу решить для !$\theta$$\theta$

Полная вероятность данных не должна включать G! Это просто должно быть вероятностью когда являются экспоненциальными. Обратите внимание, что полная вероятность данных, которую вы записали, упрощается до экспоненциальной вероятности, поскольку только один из может равняться 1. Однако, если оставить в полной вероятности данных, это может вас испортить позже. X G r j$\theta$$X$$G_{rj}$$G$

В части (d) следует учитывать ожидание полной вероятности регистрации данных, а не наблюдаемую вероятность регистрации данных.

Кроме того, вы не должны использовать закон полного ожидания! Напомним, что G наблюдается и не является случайным, поэтому вы должны выполнять только одно из этих условных ожиданий для каждого . Просто замените это условное ожидание термином и затем выполните M-шаг.X ( i )$X_j$$X_j^{(i)}$

На основании комментариев @ jsk я постараюсь исправить свои ошибки:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

Решая для мы получаемθ ( i + 1 ) = $\theta$$\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$