Мера «отклонения» для Пуассона с нулевым надуванием или отрицательного бинома с нулевым надуванием?

Масштабное отклонение, определяемое как D = 2 * (логарифмическая вероятность насыщенной модели минус логарифмическая вероятность подобранной модели), часто используется как мера соответствия модели в модели GLM. Объясненное отклонение в процентах, определенное как [D (нулевая модель) - D (подходящая модель)] / D (нулевая модель), также иногда используется в качестве аналога GLM для R-квадрата линейной регрессии. Помимо того, что дистрибутивы ZIP и ZINB не входят в экспоненциальное семейство дистрибутивов, у меня возникают проблемы с пониманием того, почему объясненное масштабированное отклонение и процентное отклонение не используются в моделировании с нулевым раздуванием. Может кто-нибудь пролить свет на это или предоставить полезные ссылки? Заранее спасибо!

goodness-of-fit zero-inflation deviance

— aleanjeo
источник

очень хороший вопрос - я бы тоже хотел это знать

— user2673238

Отклонение является концепцией GLM, модели ZIP и ZINB не являются glms, а сформулированы как конечные смеси распределений, которые являются GLM и поэтому могут быть легко решены с помощью EM-алгоритма.

Эти заметки кратко описывают теорию отклонений. Если вы прочитаете эти заметки, вы увидите доказательство того, что насыщенная модель регрессии Пуассона имеет логарифмическую вероятность

ℓ (λ_{s}) = \sum_{i = 1, \forall y_{i} \neq 0}^{n} [y_{i} l o g (y_{i}) - y_{i} - l o g (y_{i}!)]

$\ell(\lambda_s)= \sum_{i=1, \forall y_i\neq 0}^n \left[ y_ilog(y_i)-y_i -log(y_i!)\right]$

что вытекает из оценки плагина . $y_i =\hat{\lambda}_i$

Сейчас я перейду к вероятности ZIP, потому что математика проще, аналогичные результаты верны для ZINB. К сожалению для ZIP, нет простых отношений, как в Пуассоне. В - й наблюдения лог-правдоподобия $i$

ℓ_{i} (ϕ, λ) = Z_{i} l o g (ϕ + (1 - ϕ) e^{- λ}) + (1 - Z_{i}) [- λ + y_{i} l o g (λ) - l o g (y_{i}!)] .

$\ell_i(\phi, \lambda)=Z_ilog(\phi+(1-\phi)e^{-\lambda})+ (1-Z_i)\left[-\lambda +y_ilog(\lambda) -log(y_i!)\right].$

не наблюдается , так , чтобы решить это , вы должны были бы взять частные производные WRT как и , установить уравнения 0 , а затем решить для и . Трудность здесь в том, что значения , они могут входить в или в и это невозможно без наблюдения которое можно поместить наблюдения . Однако, если бы мы знали значение нам не понадобилась бы модель ZIP, потому что у нас не было бы отсутствующих данных. Наблюдаемые данные соответствуют вероятности «полных данных» в формализме ЭМ. $Z_i$ $\lambda$ $\phi$ $\lambda$ $\phi$ $y_i=0$ $\hat{\lambda}$ $\hat{\phi}$ $Z_i$ $y_i=0$ $Z_i$

Один подход, который может быть разумным, - это работать с ожиданием относительно полного правдоподобия журнала данных, которое удаляет и заменяет ожидание, это часть того, что вычисляет алгоритм EM (шаг E) с самыми последними обновлениями. Я не знаю ни одной литературы, которая изучала этот подход к отклонению, хотя. $Z_i$ $\mathbb{E}(\ell_i(\phi, \lambda))$ $Z_i$ $expected$

Кроме того, этот вопрос был задан первым, поэтому я ответил на этот пост. Тем не менее, есть еще один вопрос на ту же тему с хорошим комментарием Гордона Смита здесь: отклонение для модели с нулевым раздувом составного пуассона, непрерывные данные (R), где он упомянул тот же ответ (это развитие этого комментария скажем) плюс они упомянули в комментариях к другому посту статью, которую вы можете прочитать. (отказ от ответственности, я не читал упомянутую статью)

— Лукас Робертс
источник