В чем принципиальная разница между этими двумя регрессионными моделями?

Предположим, у меня есть двумерные ответы со значительной корреляцией. Я пытаюсь сравнить два способа моделирования этих результатов. Один из способов - смоделировать разницу между двумя результатами: Другой способ - использовать или смоделировать их:

(y_{i 2} - y_{i 1} = β_{0} + X^{'} β)

$(y_{i2}-y_{i1}=\beta_0+X'\beta)$ glsgee

(y_{i j} = β_{0} + time + X^{'} β)

$(y_{ij}=\beta_0+\text{time}+X'\beta)$

Вот пример foo:

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

В чем принципиальная разница между fit1и fit2? А между fit2а fit3, учитывая, что они так близки по значениям и оценкам? $p$

r regression model-selection

— Дэвид З
источник

Различие между fit1 и fit3 иногда называют парадоксом Господа. Смотрите здесь для некоторого обсуждения (почему оценки не меняются между моделями) и ссылки на статью Пола Эллисона, stats.stackexchange.com/a/15759/1036 . Другая ссылка

Holland, Paul & Donald Rubin. 1983. On Lord’s Paradox. In Principles of modern psychological measurement: A festchrift for Frederic M. Lord edited by Wainer, Howard & Samuel Messick pgs:3-25. Lawrence Erlbaum Associates. Hillsdale, NJ.

— Энди В.

Во-первых, я представлю еще четвертую модель для обсуждения в своем ответе:

fit1,5 <- лм (y_2 ~ x_1 + x_2 + y_1)

Часть 0
Разница между fit1 и fit1.5 лучше всего суммировать как разницу между ограниченной разницей и оптимальной разницей.

Я собираюсь использовать более простой пример, чтобы объяснить это, чем приведенный выше. Начнем с fit1.5. Более простая версия модели была бы Конечно, когда мы получим оценку OLS, она найдет «оптимальный» выбор для . И, хотя кажется странным, что писать так, мы могли бы переписать формулу как Мы можем думать об этом как об «оптимальной» разнице между двумя переменными .

y_{2} = b_{0} + b_{1} \cdot x + b_{2} \cdot y_{1}

$y_2 = b_0 + b_1·x + b_2·y_1$

b_{2}

$b_2$

y_{2} - b_{2} \cdot y_{1} = b_{0} + b_{1} \cdot x

$y_2 - b_2·y_1 = b_0 + b_1·x$

y

$y$

Теперь, если мы решим ограничить , тогда формула / модель станет что является просто (ограниченной) разницей. $b_2=1$

y_{2} - y_{1} = b_{0} + b_{1} \cdot x

$y_2 - y_1 = b_0 + b_1·x$

Обратите внимание, что в вышеприведенной демонстрации, если вы позволите быть дихотомической переменной, а - предварительным тестом, а - парным результатом теста, тогда моделью ограниченных разностей будут просто независимые выборки -test для усиления в оценках. в то время как оптимальной разностной моделью будет тест ANCOVA с оценками перед тестом, используемыми в качестве ковариат. $x$ $y_1$ $y_2$ $t$

Часть 1
Модель fit2 лучше всего можно представить аналогично разностному подходу, который использовался выше. Хотя это упрощение (поскольку я намеренно термины ошибок), модель может быть представлена как где для значений и для значений , Вот упрощение ... это давайте напишем Написано иначе, , Тогда как для модели fit1.5 значение было оптимальным для проведения анализа OLS, здесь

y = b_{0} + b_{1} \cdot x + b_{2} \cdot t

$y = b_0 + b_1 · x + b_2 · t$

t = 0

$t=0$

y_{1}

$y_1$

t = 1

$t=1$

y_{2}

$y_2$

\begin{aligned} y_{1} & = b_{0} + b_{1} \cdot x \\ y_{2} & = b_{0} + b_{1} \cdot x + b_{2} \end{aligned}

$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$

y_{2} - y_{1} = b_{2}

$y_2 - y_1 = b_2$

b_{2}

$b_2$

b_{2}

$b_2$ по сути, это просто средняя разница между значениями (после учета других ковариат).

y

$y$

Часть 2
Так в чем же разница между моделями fit2 и fit3 ... на самом деле очень мало. Модель fit3 учитывает корреляцию в терминах ошибок, но это только меняет процесс оценки, и, таким образом, различия между двумя результатами модели будут минимальными (за исключением того факта, что fit3 оценивает коэффициент авторегрессии).

Часть 2.5
И я включу еще одну модель в эту дискуссию

fit4 <- lmer (y ~ time + x1 + x2 + (1 | id), data = df.long)

Эта модель смешанных эффектов делает немного другую версию авторегрессионного подхода. Если бы мы включили временной коэффициент в случайные эффекты, это было бы сравнимо с вычислением разницы между s для каждого субъекта. (Но это не сработает ... и модель не запустится.) $y$

— Грегг Х
источник