Можете ли вы дать простое интуитивное объяснение метода IRLS, чтобы найти MLE GLM?

Фон:

Я пытаюсь следовать обзору Принстона оценки MLE для GLM .

Я понимаю основы оценки MLE: likelihood, score, наблюдаемая и ожидаемая Fisher informationи Fisher scoringтехника. И я знаю, как обосновать простую линейную регрессию с помощью оценки MLE .

---

Вопрос:

Я не могу понять даже первую строку этого метода :(

Что такое интуиция за рабочими переменными $z_i$ определенными как:

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Почему они используются вместо $y_i$ для оценки $\beta$ ?

И как они связаны с тем, response/link functionчто есть связь между $\eta$ и $\mu$

Если кто-то имеет простое объяснение или может направить меня к более базовому тексту об этом, я был бы благодарен.

Несколько лет назад я написал статью об этом для моих студентов (на испанском языке), поэтому я могу попытаться переписать эти объяснения здесь. Я посмотрю на IRLS (итеративно переоцененные наименьшие квадраты) через серию примеров возрастающей сложности. Для первого примера нам нужна концепция семейства масштабов местоположения. Пусть - функция плотности с центром в нуле в некотором смысле. Мы можем построить семейство плотностей, определив f ( x ) = f ( x ; µ , σ ) = $f_0$ гдеσ>0- параметр масштаба, аμ- параметр местоположения. В модели ошибки измерения, где обычно термин ошибки моделируется как нормальное распределение, мы можем вместо этого нормального распределения использовать семейство масштабов местоположения, как построено выше. Когдаf0является стандартным нормальным распределением, приведенная выше конструкция дает семействоN(μ,σ).

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$$f_0$$\text{N}(\mu, \sigma)$

Теперь мы будем использовать IRLS на нескольких простых примерах. Сначала мы найдем оценки ML (максимальное правдоподобие) в модели с плотностью f ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ распределение Коши семейства местоположений µ (так что это семейство местоположений). Но сначала несколько обозначений. Взвешенная оценка наименьших квадратов для μ определяется как μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ гдеwi- некоторые веса. Мы видимчто ML оценкойцможет быть выражен в той же форме, сшIнекоторой функцией от остатков epsiя=уя - М . Функция правдоподобия определяется как L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ а функция логарифмического правдоподобия задается как l(y)=-nlog(π)- n ∑ i=1log(1+(yi-μ)2). Его производная поμравна ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ где εя=уя-М. Напишитеf0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ иf ′ 0 (ϵ)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , получаем f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ Мы находим ∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ где мы использовали определение wi= f ′ 0 ( ϵ i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ Вспоминая, что ϵi=yi-μ,получаем уравнение ∑wiyi=μ∑wi, которое является уравнением оценки IRLS. Обратите внимание, что $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ $\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. Веса всегда положительны.$w_i$
2. Если остаток большой, мы придаем меньшее значение соответствующему наблюдению.

$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

$f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Далее мы дадим числовой пример, используя R, для двойной экспоненциальной модели (с известным масштабом) и с данными y <- c(-5,-1,0,1,5). Для этих данных истинное значение оценщика ML равно 0. Начальное значение будет mu <- 0.5. Один проход алгоритма

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

с помощью этой функции вы можете поэкспериментировать с выполнением итераций «вручную». Затем итерационный алгоритм может быть выполнен

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$$\sigma$

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

На данный момент я оставлю это здесь, я продолжу этот пост.