В GLM логарифмическая вероятность насыщенной модели всегда равна нулю?

Как часть вывода обобщенной линейной модели, нулевое и остаточное отклонение используются для оценки модели. Я часто вижу формулы для этих величин, выраженные в виде логарифмической вероятности насыщенной модели, например: /stats//a/113022/22199 , Логистическая регрессия: как получить насыщенную модель

Насколько я понимаю, насыщенная модель - это модель, которая идеально соответствует наблюдаемой реакции. Таким образом, в большинстве мест, которые я видел, логарифмическая вероятность насыщенной модели всегда задается равной нулю.

Тем не менее, способ, которым дается формула отклонения, предполагает, что иногда эта величина не равна нулю. (Как будто он всегда равен нулю, зачем его включать?)

В каких случаях оно может быть ненулевым? Если оно никогда не равно нулю, зачем включать его в формулу отклонения?

Если вы действительно имели в виду логарифмическое правдоподобие , то ответ таков: это не всегда ноль.

Например, рассмотрим данные Пуассона: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ . Логарифмическая вероятность для $Y = (y_1, \ldots, y_n)$ определяется как:

$$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$$

Продифференцируем $\ell(\mu; Y)$ в $(*)$ отношению к $\mu_i$ и установите его равным $0$ (вот так мы получаем MLE для насыщенной модели):

$$-1 + \frac{y_i}{\mu_i} = 0.$$ Решите это для$\mu_i$получить μ я=уI, подставляя μ Iобратно в(*)дляцядаючто лог-правдоподобие насыщенной модели: ℓ( ц ;Y)=n ∑ i=1yi(logyi-1)-n ∑ i=$\hat{\mu}_i = y_i$$\hat{\mu}_i$$(*)$$\mu_i$ $$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$$ если$y_i$принимаю очень специальные значения.

На странице справки Rфункции glm, под элементом deviance, документ объясняет эту проблему следующим образом:

deviance с точностью до константы, минус удвоенная максимальная логарифмическая вероятность. Там, где это целесообразно, постоянная выбирается так, чтобы насыщенная модель имела отклонение ноль.

Обратите внимание, что в нем упоминается, что отклонение вместо логарифмической вероятности насыщенной модели выбирается равным нулю.

Вероятно, вы действительно хотели подтвердить, что « отклонение насыщенной модели всегда задается равным нулю», что является истинным, поскольку отклонение по определению (см. Раздел 4.5.1 « Анализ категориальных данных (2-е издание) » Алана Agresti) является статистикой отношения правдоподобия указанного GLM к насыщенной модели. constantВыше в документации R фактически дважды развернутый лог-правдоподобие насыщенной модели.

Относительно вашего утверждения «Тем не менее, способ, которым дается формула отклонения, предполагает, что иногда это количество не равно нулю». Вероятно, это связано с неправильным использованием термина « отклонение» . Так , например, в R, отношение правдоподобия статистика сравнения два произвольных (вложенная) модель и М 2 также упоминаются как девиации, который будет более точно называется , как в разнице между девиацией из M 1 и девиацией из М 2 , если мы внимательно следим за определением, данным в книге Агрести.$M_1$$M_2$$M_1$$M_2$

Вывод

1. Логарифмическая вероятность насыщенной модели в целом не равна нулю.

2. Отклонение (в своем первоначальном определении) насыщенной модели равно нулю.

3. Девиация Выход из программного обеспечения (например, R), вообще говоря, не равно нуль , как это фактически означает что - то другое (разница между отклонениями).

---

Ниже приводится вывод для общего случая экспоненциального семейства и другой конкретный пример. Предположим, что данные поступают из экспоненциального семейства (см. « Современная прикладная статистика с S» , глава ): f ( y i ; θ i , φ ) = exp [ A i ( y i θ i - γ ( θ i ) ) / φ + τ ( y i , φ / A i ) ] $7$

$$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$$ где - известные предшествующие веса, а φ - параметр дисперсии / масштаба (для многих случаев, таких как биномиальное и пуассоновское, этот параметр известен, в то время как для других случаев, таких как нормальное и гамма-значение, этот параметр неизвестен). Тогда логарифмическое правдоподобие определяется как: ℓ ( θ , φ ; Y ) = n ∑ i = 1 A i ( y i θ i - γ ( θ i ) ) / φ + n ∑ i = 1$A_i$$\varphi$ Как и в примере Пуассона, параметры насыщенной модели можно оценить, решив следующуюфункциюоценки: 0 = U ( θ i ) = ∂ ℓ ( θ , φ ; Y $$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$$ $$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$$

$\hat{\theta}_i$

$$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$$

$(**)$$\Gamma(\alpha, \beta)$

---

$$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$$ $f$$(1)$ $$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$$ $f$ $$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$$ $$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$$ $\hat{\theta}_i = -\frac{1}{y_i}$ $$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$$ $y_i$

Ответ Чжансяна уже велик (+1), но вот быстрая демонстрация того, что логарифмическая вероятность насыщенной модели $0$для логистической регрессии. Я решил опубликовать, потому что я не видел этот TeX на этом сайте, и потому что я просто написал их для лекции.

Вероятность

$$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$$ где $\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$,

Логарифмическая вероятность

$$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$$

Если вы берете производные по всем коэффициентам, которые вы получаете

$$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$$

Установка этого выражения равным $\mathbf{0}$ и решение для $\boldsymbol{\beta}$даст вам ответ. Обычно это не может быть сделано аналитически, что объясняет популярность / необходимость использования итерационных алгоритмов для соответствия этой модели, но в случае насыщенной модели это возможно.

Чтобы найти насыщенную модель, мы даем каждому ряду свой коэффициент. Так$\boldsymbol{\beta} \in \mathbb{R}^n$ и матрица дизайна умножается на вектор коэффициента

$$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$$

Обратите внимание, что, в частности, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$,

Итак, принимая $j$Строка уравнения (2) дает нам

$$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$$

что может быть правдой, только если для каждого наблюдения $i$:

$$y_i = \text{invlogit}(\beta_i )$$ или, другими словами, каждый $\beta_i$ плюс или минус бесконечность (если $y_i$ является $1$ или $0$соответственно). Мы можем вставить эти параметры обратно в (1), чтобы получить максимальную вероятность: $$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$$ Ясно, что журнал это $0$,

@ Алекс: да, верно. по крайней мере, для дискретных распределений. для непрерывных распределений все сводится к тому, чтобы позволить плотности быть равной 1, что не обязательно имеет смысл и, следовательно, не является разумной вещью, которую нужно пытаться достичь. В более общем смысле логарифмическая вероятность насыщенной модели дает вам верхнюю границу производительности любой модели, которая соответствует вашему предположению о базовом семействе распределений. Другими словами, логарифмическая вероятность насыщенной биномиальной модели, которую она «хорошо получает» для данного набора данных (X, Y), предполагая, что Y является биномиальной. Имеет смысл сравнить вашу модель glm с этой верхней границей, а не, скажем, на 100% (или аналогичной), поскольку ваша модель по своей природе ограничена вашим предположением о распределении ответов.