Помощь в максимизации ожидания от бумаги: как включить предварительное распространение?

9

Вопрос основан на статье под названием «Восстановление изображений в диффузной оптической томографии с использованием связанной излучательной транспортно-диффузионной модели».

Ссылка на скачивание

Авторы применяют EM-алгоритм с разреженности неизвестного вектора для оценки пикселей изображения. Модель дается $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Оценка дана в уравнении (8) как

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

В моем случае я рассмотрел $\mu$ как фильтр длины $L$ а $\mathbf{\mu}$ являются векторами $L \times 1$ представляющими фильтры. Так,

Модель может быть переписана как

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Вопрос: Постановка задачи: ${\mu(n)}$ (n на 1) - ненаблюдаемый вход, а $\{e(n)\}$ - нулевое среднее с неизвестной дисперсией $\sigma^2_e$ аддитивного шума. Решение MLE будет основано на максимизации ожиданий (EM).

В статье уравнение (19) представляет собой функцию - полное логарифмическое правдоподобие, но для моего случая я не понимаю, как я могу включить распределение в полное логарифмическое выражение правдоподобия. $A$ $A, \mu$

Какова будет полная логарифмическая вероятность использования EM of включая предыдущее распределение? $y$

— SKM
источник

Вы действительно хотите правдоподобную вероятность или вместо этого заднюю часть журнала? Только последний будет включать лапласианский априор. Первое можно получить, взяв журнал правдоподобия, который, по-видимому, вы уже выписали

Я хочу получить два выражения: (1) одно будет использоваться для поиска информационной матрицы Фишера, а (2) другое будет pdf полного набора данных, включающего скрытую переменную и наблюдения, являющиеся объединением плотность вероятности наблюдаемых данных как функция параметра . PDF-файл, который я написал, применим к модели MA для слепой оценки . Но как это будет отличаться для ограничения разреженности = до лапласиана, чтобы можно было найти информационную матрицу Фишера из частных производных логарифмического правдоподобия.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Сиань: я не понимаю, как подключить 3 PDF, которые включают в себя в формулировке логарифмической вероятности. Я могу выработать максимизацию, которая состоит в том, чтобы взять частную производную и приравнять к нулю. Не могли бы вы поставить ответ с явно выраженным выражением правдоподобия. Это действительно поможет

— SKM

3

Если мы рассмотрим цель как представление в основе EM есть для произвольного из-за разложения или который работает для произвольного значения (поскольку на lhs его нет) ) и, следовательно, также работает для любого ожидания в :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ для любого условного распределения заданного , например, . Поэтому, если мы максимизируем в с решением мы имеем то время как стандартными аргументами EM. Следовательно,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ и использование в качестве шага E цели приводит к увеличению апостериорного значения в каждом M шаг, означающий, что модифицированный алгоритм EM сходится к локальной MAP.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— Сиань
источник

Спасибо за ваш ответ. Представляет ли PDF из ? Не могли бы вы, пожалуйста, почему есть 2 ожидания, когда Вычитается в уравнении, упомянутом во второй строке?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

Я добавил некоторые пояснения, но вы должны проверить в учебнике вывод алгоритма EM, поскольку это стандартный материал.

— Сиань

1

Я не думаю, что показ монотонного увеличения log-posterior (или логарифмической вероятности для MLE) достаточен для того, чтобы показать сходимость к стационарной точке оценки MAP (или MLE). Например, приращения могут стать сколь угодно малыми. В известной работе Ву 1983 г. достаточным условием сходимости к стационарной точке ЭМ является дифференцируемость в обоих аргументах функции нижней границы.

— Jim.Z
источник