Почему используется алгоритм максимизации ожидания?

Из того, что я мало знаю, ЭМ-алгоритм может быть использован для нахождения максимальной вероятности, когда установка на ноль частных производных по параметрам вероятности дает набор уравнений, которые не могут быть решены аналитически. Но нужен ли EM-алгоритм вместо использования какой-либо численной техники, чтобы попытаться найти максимум вероятности в отношении ограничения упомянутой системы уравнений.

Вопрос правомерен, и у меня возникла такая же путаница, когда я впервые выучил алгоритм EM.

В общих чертах алгоритм EM определяет итерационный процесс, который позволяет максимизировать функцию правдоподобия параметрической модели в случае, когда некоторые переменные модели являются (или рассматриваются как) «скрытыми» или неизвестными.

Теоретически для этой же цели вы можете использовать алгоритм минимизации, чтобы численно найти максимум функции правдоподобия для всех параметров. Однако в реальной ситуации эта минимизация будет:

1. гораздо более интенсивный в вычислительном отношении
2. менее надежный

Очень распространенное применение метода EM - подбор модели смеси. В этом случае, рассматривая переменную, которая присваивает каждую выборку одному из компонентов в качестве «скрытых» переменных, проблема значительно упрощается.

Давайте посмотрим на пример. У нас есть N выборок извлеченных из смеси 2 нормальных распределений. Чтобы найти параметры без ЭМ, мы должны минимизировать:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Напротив, используя EM-алгоритм, мы сначала «назначаем» каждую выборку компоненту ( шаг E ), а затем подбираем (или максимизируем вероятность ) каждый компонент отдельно ( шаг M ). В этом примере M-шаг - это просто взвешенное среднее значение для поиска и . Повторение этих двух шагов является более простым и надежным способом минимизации .σ k - log L ( x , θ $\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

EM не требуется вместо использования некоторой численной техники, потому что EM также является численным методом. Так что это не замена Ньютон-Рафсон. EM для конкретного случая, когда у вас отсутствуют значения в матрице данных. Рассмотрим образец который имеет условную плотность . Тогда логарифмическая вероятность этого равна Теперь предположим, что у вас нет полного набора данных, так что состоит из наблюдаемых данных. и отсутствующие (или скрытые) переменные , такие что . Тогда логарифмическая вероятность для наблюдаемых данных е X | Θ ( x | θ ) l ( θ ; X ) = l o g f X | Θ ( X | θ ) X Y Z X = ( Y , Z ) l o b s ( θ , Y ) $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ В общем случае вы не можете вычислить этот интеграл напрямую и не получите решение в замкнутой форме для . Для этого вы используете метод EM. Есть два шага, которые повторяются для раз. На этом шаге это шаг ожидания, на котором вы вычисляете где - оценка на шаге . Затем вычислите шаг максимизации, на котором вы максимизируете относительно и установить$l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ . Затем вы повторяете эти шаги, пока метод не приблизится к некоторому значению, которое будет вашей оценкой.

Если вам нужна дополнительная информация о методе, его свойствах, доказательствах или приложениях, просто взгляните на соответствующую статью в вики .

EM используется потому, что часто невозможно или невозможно напрямую рассчитать параметры модели, которая максимизирует вероятность набора данных для данной модели.