Как вы используете EM-алгоритм для расчета MLE для формулировки скрытой переменной для модели Пуассона с нулевым раздуванием?

Модель регрессии Пуассона с нулевым определяется для выборки как и далее предполагается, что параметры и удовлетворяют $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

Соответствующая логарифмическая правдоподобие регрессионной модели Пуассона с нулевым имеет вид

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

Здесь и являются матрицами проектирования. Эти матрицы могут быть одинаковыми в зависимости от характеристик, которые желательно использовать для двух процессов генерации. Однако они имеют одинаковое количество строк. $\mathrm{B}$ $\mathrm{G}$

Предполагая, что мы можем наблюдать когда из идеального, нулевого состояния, и когда из пуассоновского состояния, логарифмическая вероятность будет $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

знак равно Σ_{я знак равно 1}^{N} Z_{я} (г_{я} γ - журнал (1 + е^{г_{я} γ})) + - Σ_{я знак равно 1}^{N} (1 - Z_{я}) журнал (1 + е^{г_{я} γ}) + Σ_{я знак равно 1}^{N} (1 - Z_{я}) [Y_{я} В_{я} β - е^{В_{я} β} - журнал (Y_{я}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ Первые два слагаемых - это потеря в логистической регрессии для разделения из

. Второе слагаемое - это регрессия к точкам, порожденным пуассоновским процессом.

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

Но не скрытые переменные ненаблюдаемы? Цель состоит в том, чтобы максимизировать вероятность первого бревна. Но мы должны ввести скрытые переменные и получить новое логарифмическое правдоподобие. Затем, используя алгоритм EM, мы можем максимизировать второе логарифмическое правдоподобие. Но это предполагает, что мы знаем, что либо либо ? $Z_i = 0$ $Z_i = 1$

— Damien
источник

Что такое ? Кроме того, большая часть этого вопроса, кажется, в значительной степени вырезана и вставлена из более раннего, другого вопроса @Robby. Это ты?

f

$f$

— Макро

@ Макро: Макро да, это я. Я не уверен, что . Газета никогда не говорила.

f

$f$

— Дэмиен

Корень трудности, с которой вы столкнулись, заключается в предложении:

Затем, используя алгоритм EM, мы можем максимизировать второе логарифмическое правдоподобие.

Как вы заметили, вы не можете. Вместо этого вы максимизируете ожидаемое значение вероятности второго журнала (известное как «полная вероятность журнала данных»), где ожидаемое значение принимается за . $z_i$

Это приводит к итерационной процедуре, где на итерации вы вычисляете ожидаемые значения учитывая оценки параметров из итерации ( (это называется "E-step" ",) затем подставьте их в полную вероятность регистрации данных (см. ниже РЕДАКТИРОВКА, чтобы узнать, почему мы можем сделать это в этом случае), и максимизируйте это по отношению к параметрам, чтобы получить оценки для текущей итерации (" M-шаг " .) $k^{th}$ $z_i$ $(k-1)^{th}$

Вероятность регистрации полных данных для Пуассона с нулевым раздувом в простейшем случае - два параметра, скажем, и - позволяет существенно упростить, когда дело доходит до М-шага, и это в некоторой степени переносится в вашу форму. Я покажу вам, как это работает в простом случае с помощью некоторого кода R, чтобы вы могли увидеть суть этого. Я не буду упрощать как можно больше, так как это может привести к потере ясности, когда вы думаете о своей проблеме: $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

В вашем случае на каждом шаге вы будете делать взвешенную регрессию Пуассона, где весами будут 1-zhatполучать оценки и, следовательно, , а затем максимизировать: $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

относительно вектора коэффициентов вашей матрицы чтобы получить оценки . Ожидаемые значения , снова рассчитываются на каждой итерации. $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Если вы хотите сделать это для реальных данных, в отличие от простого понимания алгоритма, R-пакеты уже существуют; Вот пример http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm с использованием psclбиблиотеки.

РЕДАКТИРОВАТЬ: Я должен подчеркнуть, что то, что мы делаем, - это максимизация ожидаемого значения вероятности записи полного журнала, а НЕ максимизация вероятности полного журнала данных с подключением ожидаемых значений отсутствующих данных / скрытых переменных. Как это происходит, если вероятность того, что журнал полных данных является линейным по отсутствующим данным, как и здесь, два подхода одинаковы, но в остальном это не так.

— jbowman
источник

@Cokes, вы должны добавить эту информацию в качестве собственного дополнительного ответа, а не изменять существующий ответ. Это изменение не должно быть одобрено.

— gung - Восстановить Монику