Эквивалентность (0 + фактор | группа) и (1 | группа) + (1 | группа: фактор) характеристики случайных эффектов в случае составной симметрии

Дуглас Бейтс утверждает, что следующие модели эквивалентны «если матрица дисперсии-ковариации для векторно-значных случайных эффектов имеет особую форму, называемую составной симметрией» ( слайд 91 в этой презентации ):

m1 <- lmer(y ~ factor + (0 + factor|group), data)
m2 <- lmer(y ~ factor + (1|group) + (1|group:factor), data)

В частности, Бейтс использует этот пример:

library(lme4)
data("Machines", package = "MEMSS")

m1a <- lmer(score ~ Machine + (0 + Machine|Worker), Machines)
m2a <- lmer(score ~ Machine + (1|Worker) + (1|Worker:Machine), Machines)

с соответствующими выходами:

print(m1a, corr = FALSE)

Linear mixed model fit by REML ['lmerMod']
Formula: score ~ Machine + (0 + Machine | Worker)
   Data: Machines
REML criterion at convergence: 208.3112
Random effects:
 Groups   Name     Std.Dev. Corr     
 Worker   MachineA 4.0793            
          MachineB 8.6253   0.80     
          MachineC 4.3895   0.62 0.77
 Residual          0.9616            
Number of obs: 54, groups:  Worker, 6
Fixed Effects:
(Intercept)     MachineB     MachineC  
     52.356        7.967       13.917  

print(m2a, corr = FALSE)

Linear mixed model fit by REML ['lmerMod']
Formula: score ~ Machine + (1 | Worker) + (1 | Worker:Machine)
   Data: Machines
REML criterion at convergence: 215.6876
Random effects:
 Groups         Name        Std.Dev.
 Worker:Machine (Intercept) 3.7295  
 Worker         (Intercept) 4.7811  
 Residual                   0.9616  
Number of obs: 54, groups:  Worker:Machine, 18; Worker, 6
Fixed Effects:
(Intercept)     MachineB     MachineC  
     52.356        7.967       13.917

Кто-нибудь может объяснить разницу между моделями и как m1сводится к m2(с учетом составной симметрии) интуитивно понятным способом?

В этом примере есть три наблюдения для каждой комбинации трех машин (A, B, C) и шести рабочих. Я буду использовать для обозначения n- мерной единичной матрицы и 1 n для обозначения n- мерного вектора единиц. Скажем, у - вектор наблюдений, который, как я предполагаю, упорядочен рабочим, затем машиной, а затем воспроизведен. Пусть µ будет соответствующими ожидаемыми значениями (например, фиксированными эффектами), и пусть γ будет вектором групповых отклонений от ожидаемых значений (например, случайных эффектов). Условно на γ модель для y можно записать так:$I_n$$n$$1_n$$n$$y$$\mu$$\gamma$$\gamma$$y$

$$y \sim \mathcal{N}(\mu + \gamma, \sigma^2_y I_{54})$$

где - «остаточная» дисперсия.$\sigma^2_y$

Чтобы понять, как ковариационная структура случайных эффектов индуцирует ковариационную структуру среди наблюдений, более интуитивно понятно работать с эквивалентным «маргинальным» представлением , которое интегрируется по случайным эффектам . Предельная форма этой модели,$\gamma$

$$y \sim \mathcal{N}(\mu, \sigma^2_y I_{54} + \Sigma)$$

Здесь - ковариационная матрица, которая зависит от структуры γ (например, «компоненты дисперсии», лежащие в основе случайных эффектов). Я буду называть Σ «маргинальной» ковариацией.$\Sigma$$\gamma$$\Sigma$

По вашему m1, случайные эффекты разлагаются на:

$$\gamma = Z \theta$$

Там , где является дизайн матрица , которая отображает случайные коэффициенты на наблюдения, а θ Т = [ θ 1 , , θ 1 , B , θ 1 , С ... θ 6 , , & thetas ; 6 , B , θ 6 , с ] представляет собой 18-мерный вектор случайных коэффициентов упорядоченных по рабочим затем машина, и распределяются следующим образом:$Z = I_{18} \otimes 1_3$$\theta^T = [\theta_{1,A}, \theta_{1,B}, \theta_{1,C} \dots \theta_{6,A}, \theta_{6,B}, \theta_{6,C}]$

$$\theta \sim \mathcal{N}(0, I_6 \otimes \Lambda)$$

Здесь - ковариация случайных коэффициентов. Предположение о сложной симметрии означает, что Λ имеет два параметра, которые я назову σ θ и τ , и структуру:$\Lambda$$\Lambda$$\sigma_\theta$$\tau$

$$\Lambda = \left[\begin{matrix} \sigma^2_\theta + \tau^2 & \tau^2 & \tau^2 \\ \tau^2 & \sigma^2_\theta + \tau^2 & \tau^2 \\ \tau^2 & \tau^2 & \sigma^2_\theta + \tau^2 \end{matrix}\right]$$

(Другими словами, корреляционная матрица, лежащая в основе имеет все элементы на диагонали, установленные на одно и то же значение.)$\Lambda$

Предельная структура ковариации , вызванная этими случайных эффектов является , так что дисперсия данного наблюдения является σ 2 & thetas ; + т 2 + сг 2 г и ковариации между двумя (отдельными) наблюдениями от работников i , j и машин u , v is: c o v ( y i , u , y j , v ) $\Sigma = Z (I_6 \otimes \Lambda) Z^T$$\sigma^2_\theta + \tau^2 + \sigma^2_y$$i, j$$u, v$

$$\mathrm{cov}(y_{i,u}, y_{j,v}) = \begin{cases} 0 & \text{if } i\neq j \\ \tau^2 & \text{if } i=j, u\neq v \\ \sigma^2_\theta + \tau^2 & \text{if } i=j, u=v \end{cases}$$

Для вас m2случайные эффекты разлагаются на:

$$\gamma = Z \omega + X \eta$$

$X = I_6 \otimes 1_9$$\omega^T = [\omega_{1,A}, \omega_{1,B}, \omega_{1,C}, \dots, \omega_{6,A}, \omega_{6,B}, \omega_{6,C}]$$\eta^T = [\eta_{1}, \dots, \eta_{6}]$

$$\eta \sim \mathcal{N}(0, \sigma^2_\eta I_6)$$ $$\omega \sim \mathcal{N}(0, \sigma^2_\omega I_{18})$$ $\sigma_\eta^2, \sigma_\omega^2$

m2$\Sigma = \sigma^2_\omega Z Z^T + \sigma^2_\eta X X^T$$\sigma^2_\omega + \sigma^2_\eta + \sigma^2_y$$i, j$$u, v$

$$\mathrm{cov}(y_{i,u}, y_{j,v}) = \begin{cases} 0 & \text{if } i\neq j \\ \sigma_\eta^2 & \text{if } i=j,u\neq v \\ \sigma^2_\omega + \sigma^2_\eta & \text{if } i=j,u=v \end{cases}$$

$\sigma^2_\theta \equiv \sigma^2_\omega$$\tau^2 \equiv \sigma^2_\eta$ m1

Краткость не является моей сильной стороной: это всего лишь длинный, запутанный способ сказать, что каждая модель имеет два параметра дисперсии для случайных эффектов, и это просто два разных способа написания одной и той же «маргинальной» модели.

В коде ...

sigma_theta <- 1.8
tau         <- 0.5
sigma_eta   <- tau
sigma_omega <- sigma_theta
Z <- kronecker(diag(18), rep(1,3))
rownames(Z) <- paste(paste0("worker", rep(1:6, each=9)), 
                     rep(paste0("machine", rep(1:3, each=3)),6))
X <- kronecker(diag(6), rep(1,9))
rownames(X) <- rownames(Z)
Lambda <- diag(3)*sigma_theta^2 + tau^2

# marginal covariance for m1:
Z%*%kronecker(diag(6), Lambda)%*%t(Z)
# for m2:
X%*%t(X)*sigma_eta^2 + Z%*%t(Z)*sigma_omega^2