Что если остатки нормально распределены, а у нет?

У меня странный вопрос. Предположим, что у вас есть небольшая выборка, в которой зависимая переменная, которую вы собираетесь анализировать с помощью простой линейной модели, сильно искажена. Таким образом, вы предполагаете, что не является нормально распределенным, потому что это приведет к нормально распределенному . Но когда вы вычисляете график QQ-Normal, есть доказательства того, что остатки обычно распределяются. Таким образом, любой может предположить, что термин ошибки обычно распределен, хотя нет. Так что же это значит, когда термин ошибки кажется нормально распределенным, а нет?$u$$y$$y$$y$

Разумно, чтобы остатки в задаче регрессии были нормально распределены, даже если переменная отклика - нет. Рассмотрим одномерную регрессионную задачу, где . так что модель регрессии является подходящей, и далее предположим, что истинное значение . В этом случае, хотя остатки модели истинной регрессии являются нормальными, распределение зависит от распределения , так как условное среднее является функцией . Если в наборе данных много значений , близких к нулю и постепенно уменьшающихся по мере увеличения значения , то распределениеβ = 1 y x y x x x y x y $y \sim \mathcal{N}(\beta x, \sigma^2)$$\beta=1$$y$$x$$y$$x$$x$$x$$y$ будет перекошен влево. Если значения распределены симметрично, то будет распределяться симметрично и т. Д. Для задачи регрессии мы только предполагаем, что отклик в норме зависит от значения .$x$$y$$x$

Конечно, @DikranMarsupial совершенно прав, но мне пришло в голову, что было бы неплохо проиллюстрировать его точку зрения, тем более что эта проблема, кажется, часто возникает. В частности, остатки регрессионной модели должны быть нормально распределены, чтобы значения p были правильными. Однако, даже если остатки нормально распределены, это не гарантирует, что будет (не то, что это имеет значение ...); это зависит от распределения . $Y$$X$

Давайте рассмотрим простой пример (который я составляю). Допустим, мы тестируем препарат для изолированной систолической гипертонии (т. Е. Верхнее значение артериального давления слишком высокое). Далее давайте укажем, что систолический bp обычно распределяется в нашей популяции пациентов со средним значением 160 & SD, равным 3, и что для каждого мг препарата, который пациенты принимают каждый день, систолический bp снижается на 1 мм рт. Другими словами, истинное значение равно 160, а равно -1, а истинная функция генерирования данных: β 1 B P s y s = 160 - 1 × суточная доза препарата + $\beta_0$$\beta_1$

(Я встряхнул дозировки, чтобы точки не перекрывались настолько сильно, что их было трудно различить.) Теперь давайте проверим распределения (то есть, это предельное / исходное распределение) и остатки: $Y$

Диаграммы qq показывают нам, что не является дистанционно нормальным, но что остатки достаточно нормальны. Графики плотности ядра дают нам более интуитивно понятную картину распределений. Ясно, что является тримодальным , тогда как остатки выглядят так, как будто должно выглядеть нормальное распределение. $Y$$Y$

$Y$$X$$p<.05$$\beta_1$

set.seed(123456789)                       # this make the simulation repeatable

b0 = 160;   b1 = -1;   b1_null = 0        # these are the true beta values
x  = rep(c(0, 20, 40), each=100)          # the (non-normal) drug dosages patients get

estimated.b1s  = vector(length=10000)     # these will store the simulation's results
estimated.b1ns = vector(length=10000)
null.p.values  = vector(length=10000)

for(i in 1:10000){
  residuals = rnorm(300, mean=0, sd=3)
  y.works = b0 + b1*x      + residuals
  y.null  = b0 + b1_null*x + residuals    # everything is identical except b1

  model.works = lm(y.works~x)
  model.null  = lm(y.null~x)
  estimated.b1s[i]  = coef(model.works)[2]
  estimated.b1ns[i] = coef(model.null)[2]
  null.p.values[i]  = summary(model.null)$coefficients[2,4]
}
mean(estimated.b1s)       # the sampling distributions are centered on the true values
[1] -1.000084                  
mean(estimated.b1ns)
[1] -8.43504e-05               
mean(null.p.values<.05)   # when the null is true, p<.05 5% of the time
[1] 0.0532                   

Эти результаты показывают, что все работает хорошо.

$X$ $Y$$X$

$X$$Y$$X$