Проверка невязок на нормальность в обобщенных линейных моделях

Эта статья использует обобщенные линейные модели (как биномиальное, так и отрицательное биномиальное распределение ошибок) для анализа данных. Но затем в разделе методов статистического анализа есть следующее утверждение:

... и, во-вторых, путем моделирования данных присутствия с использованием моделей логистической регрессии и данных о времени нагула с использованием обобщенной линейной модели (GLM). Отрицательное биномиальное распределение с функцией логарифмирования было использовано для моделирования данных о времени нагула (Welsh et al. 1996), а адекватность модели была проверена путем изучения результатов (McCullagh & Nelder 1989). Тесты Шапиро – Вилка или Колмогорова – Смирнова использовались для проверки нормальности в зависимости от размера выборки; данные были преобразованы логарифмически до анализа, чтобы придерживаться нормальности.

Если они принимают биномиальное и отрицательное биномиальное распределение ошибок, то, конечно, они не должны проверять нормальность остатков?

generalized-linear-model assumptions

— Лучиано
источник

Обратите внимание, что ошибки не биномиально распределены - каждый ответ биномиально распределен с параметром вероятности, заданным соответствующими значениями предиктора, согласно ответам на один из ваших других вопросов .

— Scortchi - Восстановить Монику

В биномиальной или негативной биномиальной регрессии нет ничего, что должно быть нормальным. Если это ответ, который они трансформируют, это может быть очень контрпродуктивным; это испортит GLM.

— Glen_b

Из вашей цитаты не ясно, что они на самом деле проверяют на нормальность (вы уверены, что это остатки?) Или для какого анализа они преобразуют данные (вы уверены, что это GLM?).

— Scortchi - Восстановить Монику

Я немного расширил цитату. Может ли кто-то подтвердить, что то, что сделали авторы статьи, было неправильно или правильно?

— Лучано

Я боюсь, что это все еще не очень ясно - свяжитесь с авторами для деталей того, как они провели анализ, если это не объяснено в другом месте в статье или ее ссылках.

— Scortchi - Восстановить Монику

Ответы:

Обратите внимание, что отклонения отклонения (или Пирсона) не будут иметь нормального распределения, кроме гауссовой модели. Для случая логистической регрессии, как говорит @Stat, остатки отклонения для го наблюдения определяются как $i$ $y_i$

r_{i}^{D} = - \sqrt{2 | \log (1 - {\hat{π}}_{i}) |}

$r^{\mathrm{D}}_i=-\sqrt{2\left|\log{(1-\hat{\pi}_i)}\right|}$

если & $y_i=0$

r_{i}^{D} = \sqrt{2 | \log ({\hat{π}}_{i}) |}

$r^{\mathrm{D}}_i=\sqrt{2\left|\log{(\hat{\pi}_i)}\right|}$

если , где - вероятность Бернулли. Поскольку каждое из них может принимать только одно из двух значений, ясно, что их распределение не может быть нормальным даже для правильно определенной модели: $y_i=1$ $\hat{\pi_i}$

#generate Bernoulli probabilities from true model
x <-rnorm(100)
p<-exp(x)/(1+exp(x))

#one replication per predictor value
n <- rep(1,100)
#simulate response
y <- rbinom(100,n,p)
#fit model
glm(cbind(y,n-y)~x,family="binomial") -> mod
#make quantile-quantile plot of residuals
qqnorm(residuals(mod, type="deviance"))
abline(a=0,b=1)

QQ сюжет n = 1

Но если существует повторяющихся наблюдений для го шаблона предиктора, & остаток отклонения определяется так, чтобы собрать их $n_i$ $i$

r_{i}^{D} = sgn (y_{i} - n_{i} {\hat{π}}_{i}) \sqrt{2 [y_{i} \log \frac{y_{i}}{n {\hat{π}}_{i}} + (n_{i} - y_{i}) \log \frac{n_{i} - y_{i}}{n_{i} (1 - {\hat{π}}_{i})}]}

$r^{\mathrm{D}}_i=\operatorname{sgn}({y_i-n_i\hat{\pi}_i})\sqrt{2\left[y_i\log{\frac{y_i}{n\hat{\pi}_i}} + (n_i-y_i)\log{\frac{n_i-y_i}{n_i(1-\hat{\pi}_i)}}\right]}$

(где - теперь число успешных попыток от 0 до ), тогда, когда становится больше, распределение остатков приближается к норме: $y_i$ $n_i$ $n_i$

#many replications per predictor value
n <- rep(30,100)
#simulate response
y<-rbinom(100,n,p)
#fit model
glm(cbind(y,n-y)~x,family="binomial")->mod
#make quantile-quantile plot of residuals
qqnorm(residuals(mod, type="deviance"))
abline(a=0,b=1)

QQ участок n = 30

То же самое происходит с пуассоновскими или отрицательными биномиальными GLM: для низких предсказанных подсчетов распределение остатков является дискретным и искаженным, но имеет тенденцию к нормальности для больших подсчетов в правильно заданной модели.

Это не обычно, по крайней мере, не в моей шее леса, чтобы провести формальную проверку остаточной нормальности; если тестирование нормальности по существу бесполезно, когда ваша модель предполагает точную нормальность, тогда тем более бесполезно, когда это не так. Тем не менее, для ненасыщенных моделей графическая остаточная диагностика полезна для оценки наличия и характера неадекватности, принимая нормальность с помощью щепотки или пригоршни соли в зависимости от количества повторений на шаблон предиктора.

— Scortchi - Восстановить Монику
источник

То, что они сделали, правильно! Я дам вам ссылку на двойную проверку. См. Раздел 13.4.4 в разделе « Введение в анализ линейной регрессии», 5-е издание.Дуглас С. Монтгомери, Элизабет А. Пек, Дж. Джеффри Вайнинг. В частности, посмотрите на примеры на странице 460, где они соответствуют биномиальному glm и дважды проверьте допущение нормальности «Остатки отклонения». Как упоминалось на странице 458, это происходит потому, что «остатки отклонения ведут себя так же, как обычные остатки в стандартной модели линейной регрессии нормальной теории». Так что имеет смысл, если вы строите их в обычном масштабе вероятности, а также против подгоночных значений. Снова смотрите страницу 456 вышеупомянутой ссылки. В примерах, которые они предоставили на стр. 460 и 461, не только для биномиального случая, но также для коэффициентов Пуассона и Gamma с (link = log), они проверили нормальность остатков отклонения.
Для биномиального случая остаток отклонения определяется как:

r_{i}^{D} = - \sqrt{2 | \ln (1 - \hat{π_{i}}) |}

$r^{D}_i=-\sqrt{2|\ln{(1-\hat{\pi_i})}|}$ если и если . Теперь немного кода в R, чтобы показать вам, как вы можете получить его:

y_{i} = 0

$y_i=0$

r_{i}^{D} = \sqrt{2 | \ln (\hat{π_{i}}) |}

$r^{D}_i=\sqrt{2|\ln{(\hat{\pi_i})}|}$

y_{i} = 1

$y_i=1$

> attach(npk)

> #Fitting binomila glm
> fit.1=glm(P~yield,family=binomial(logit))
> 
> #Getting deviance residuals directly
> rd=residuals(fit.1,type = c("deviance"))
> rd
         1          2          3          4          5          6          7 
 1.1038306  1.2892945 -1.2912991 -1.1479881 -1.1097832  1.2282009 -1.1686771 
         8          9         10         11         12         13         14 
 1.1931365  1.2892945  1.1903473 -0.9821829 -1.1756061 -1.0801690  1.0943912 
        15         16         17         18         19         20         21 
-1.3099491  1.0333213  1.1378369 -1.2245380 -1.2485566  1.0943912 -1.1452410 
        22         23         24 
 1.2352561  1.1543163 -1.1617642 
> 
> 
> #Estimated success probabilities
> pi.hat=fitted(fit.1)
> 
> #Obtaining deviance residuals directly
> rd.check=-sqrt(2*abs(log(1-pi.hat)))
> rd.check[P==1]=sqrt(2*abs(log(pi.hat[P==1])))
> rd.check
         1          2          3          4          5          6          7 
 1.1038306  1.2892945 -1.2912991 -1.1479881 -1.1097832  1.2282009 -1.1686771 
         8          9         10         11         12         13         14 
 1.1931365  1.2892945  1.1903473 -0.9821829 -1.1756061 -1.0801690  1.0943912 
        15         16         17         18         19         20         21 
-1.3099491  1.0333213  1.1378369 -1.2245380 -1.2485566  1.0943912 -1.1452410 
        22         23         24 
 1.2352561  1.1543163 -1.1617642 
>

Проверьте здесь для случая Пуассона, а также.

— Stat
источник

Ваш пример - странный выбор. Ли вы сделать PP или QQ сюжет этих девиаций остатков; если так, что вы сделали вывод?

— Scortchi - Восстановить Монику

Дело в том, что в этом случае не было бы смысла проверять нормальность остатков - они явно не распределены нормально, и не должны. Только когда число наблюдений для каждого шаблона предиктора увеличивается, распределение остатков (один остаток, рассчитанный для каждого шаблона предиктора) стремится к норме. Точно так же для пуассоновской или отрицательной биномиальной модели - значения должны быть большими, чтобы нормальное приближение было хорошим.

— Scortchi - Восстановить Монику

Вопрос заключается в том, должны ли остатки из обобщенных линейных моделей быть нормально распределенными. Ваш ответ представляется безоговорочным «да» (хотя ваши источники, несомненно, дают необходимую квалификацию, не каждый читатель будет их проверять). Затем вы приводите пример, в котором нет никаких оснований ожидать, что остатки будут нормально распределены, даже если модель была правильно задана: неосторожный читатель предположит, что они должны быть, и что, как это явно не так, это поэтому пример обнаружения неправильной спецификации модели путем изучения остатков (хотя вы ...

— Scortchi - Восстановите Монику

... не сказал, что это). Поэтому я думаю, что ответ требует много разъяснений, чтобы быть полезным.

— Scortchi - Восстановить Монику

Комментарии IMO @ Scortchi здесь разумны. Глядя на то, что я вижу в книге Монтгомери на предварительном просмотре книг Google, они создают график QQ, но не выполняют фактический тест на нормальность, как упомянуто в оригинальном постере. Конечно, построение графика QQ целесообразно в качестве диагностического теста, но в большинстве реальных ситуаций присутствует даже отклонение. не будет нормальным

— Энди W