Фиксированный эффект против случайного эффекта, когда все возможности включены в модель смешанных эффектов

В модели смешанных эффектов рекомендуется использовать фиксированный эффект для оценки параметра, если включены все возможные уровни (например, как мужчины, так и женщины). Кроме того, рекомендуется использовать случайный эффект для учета переменной, если включенные уровни представляют собой просто случайную выборку из популяции (зарегистрированных пациентов из вселенной возможных пациентов) и вы хотите оценить среднее значение и дисперсию популяции вместо средних значений. уровней отдельных факторов.

Мне интересно, если вы логически обязаны всегда использовать фиксированный эффект таким образом. Рассмотрим исследование того, как размер стопы / обуви изменяется в процессе развития и связан, скажем, с ростом, весом и возрастом. ${\rm Side}$Ясно, что необходимо как-то включить в модель, чтобы учесть тот факт, что измерения за эти годы вложены в заданную ногу и не являются независимыми. Более того, справа и слева есть все возможности, которые могут существовать. Кроме того, это может быть очень верно, что для данного участника их правая нога больше (или меньше), чем их левая. Однако, хотя размер ступни у всех людей несколько различается, нет никаких оснований полагать, что правые ступни в среднем будут больше левых. Если они присутствуют в вашей выборке, это, вероятно, связано с генетикой людей в вашей выборке, а не с особенностями правой ноги. Наконец, ${\rm side}$ кажется мешающим параметром, а не то , что вы действительно заботитесь о.

Позвольте мне отметить, что я сделал этот пример. Это может быть не очень хорошо; это просто чтобы донести идею. Насколько я знаю, наличие большой правой ноги и маленькой левой ноги было необходимо для выживания в палеолите.

В таком случае, имеет ли смысл (больше / меньше / меньше) иметь смысл включать ${\rm side}$ в модель как случайный эффект? Каковы были бы плюсы и минусы использования фиксированного и случайного эффекта здесь?

Общая проблема с «фиксированными» и «случайными» эффектами заключается в том, что они не определены согласованным образом. Эндрю Гельман цитирует несколько из них:

(1) Фиксированные эффекты постоянны у разных людей, а случайные эффекты различаются. Например, в исследовании роста модель со случайным перехватом и фиксированным наклоном b соответствует параллельным линиям для разных индивидуумов i или модели y i t = a i + b t . Таким образом, Kreft и De Leeuw (1998) различают фиксированные и случайные коэффициенты.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Эффекты фиксируются, если они интересны сами по себе или случайны, если есть интерес к основной популяции. Сирл, Казелла и МакКаллох (1992, раздел 1.4) подробно исследуют это различие.

(3) «Когда выборка исчерпывает совокупность, соответствующая переменная фиксируется; когда выборка является небольшой (то есть незначительной) частью популяции, соответствующая переменная является случайной ». (Green and Tukey, 1960)

(4) «Если эффект предполагается реализованным значением случайной величины, он называется случайным эффектом». (LaMotte, 1983)

(5) Фиксированные эффекты оцениваются с использованием метода наименьших квадратов (или, в более общем смысле, максимальной вероятности), а случайные эффекты оцениваются с усадкой («линейное непредвзятое предсказание» в терминологии Робинсона, 1991 г.). Это определение является стандартным в литературе по многоуровневому моделированию (см., Например, Snijders and Bosker, 1999, раздел 4.2) и в эконометрике.

и замечает, что они не соответствуют. В своей книге « Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей» он, как правило, избегает использования этих терминов, и в своей работе он фокусируется на фиксированных или изменяющихся перехватах и ​​наклонах групп, поскольку

Фиксированные эффекты можно рассматривать как особые случаи случайных эффектов, в которых дисперсия более высокого уровня (в модели (1.1) это будет ) установлена ​​на 0 или$\sigma^2_\alpha$$0$ . Следовательно, в нашей структуре все параметры регрессии являются «случайными», а термин «многоуровневый» является всеобъемлющим.$\infty$

Это особенно верно для байесовской структуры - обычно используемой для смешанных моделей - где все эффекты случайны сами по себе. Если вы думаете о Байесе, вы на самом деле не озабочены «фиксированными» эффектами и точечными оценками, и у вас нет проблем с обработкой всех эффектов как случайных.

Чем больше я читаю на эту тему, тем больше я убежден, что это скорее идеологическая дискуссия о том, что мы можем (или должны) оценить и что мы можем только предсказать (здесь я мог бы сослаться и на ваш собственный ответ ). Вы используете случайные эффекты, если у вас есть случайная выборка возможных результатов, поэтому вас не интересуют индивидуальные оценки, и вы заботитесь скорее о последствиях для населения, а не отдельных людей. Таким образом, ответ на ваш вопрос зависит также от того, что вы думаете о том, хотите ли вы или можете оценить фиксированные эффекты с учетом ваших данных. Если в ваши данные включены все возможные уровни, вы можетеоцените фиксированные эффекты - также, как и в вашем примере, количество уровней может быть небольшим, что, как правило, не подходит для оценки случайных эффектов, и для этого есть некоторые минимальные требования .

Аргумент в лучшем случае

Скажем, у вас есть неограниченное количество данных и неограниченная вычислительная мощность. В этом случае вы можете представить оценку каждого эффекта как фиксированного, поскольку фиксированные эффекты дают вам большую гибкость (позволяют нам сравнивать отдельные эффекты). Однако даже в этом случае большинство из нас неохотно используют фиксированные эффекты для всего.

Например, представьте, что вы хотите смоделировать результаты экзаменов школ в каком-либо регионе, и у вас есть данные по всем 100 школам в регионе. В этом случае вы могли бы угрожать школам как фиксированным - поскольку у вас есть данные на всех уровнях - но на практике вы, скорее всего, предпочли бы считать их случайными. Это почему?

1. Одна из причин заключается в том, что, как правило, в подобных случаях вас интересует не влияние отдельных школ (и их трудно сравнивать), а скорее общая разница между школами.

2. Другой аргумент здесь - модель скупости. Как правило, вас не интересует модель «всевозможного влияния», поэтому в вашей модели вы включаете несколько фиксированных эффектов, которые вы хотите протестировать и контролировать для других возможных источников изменчивости. Это делает модели смешанных эффектов подходящими для общего подхода к статистическому моделированию, где вы оцениваете что-то и контролируете другие вещи. Со сложными (многоуровневыми или иерархическими) данными у вас есть много эффектов для включения, поэтому вы угрожаете некоторым как «фиксированным», а некоторые как «случайным», чтобы контролировать их.

3. В этом сценарии вы также не будете думать о школах как о том, что каждая из них имеет свое уникальное влияние на результаты, а скорее о школах, имеющих какое-то влияние в целом. Таким образом, этот аргумент состоит в том, что мы считаем, что на самом деле невозможно оценить уникальные эффекты отдельных школ, и поэтому мы угрожаем им как случайной выборкой возможных эффектов школы.

Модели со смешанными эффектами находятся где-то между сценариями «все исправлено» и «все случайно». Данные, с которыми мы сталкиваемся, заставляют нас снизить наши ожидания в отношении оценки всего как фиксированных эффектов, поэтому мы решаем, какие эффекты мы хотим сравнить и какие эффекты мы хотим контролировать, или имеем общее представление об их влиянии. Речь идет не только о том, что это за данные, но и о том, как мы думаем о данных во время их моделирования.

Управляющее резюме

Действительно, часто говорят, что если все возможные уровни факторов включены в смешанную модель, то этот фактор следует рассматривать как фиксированный эффект. Это не обязательно верно для ДВУХ ОТЛИЧНЫХ ПРИЧИН:

(1) Если число уровней велико, то это может иметь смысл рассматривать [пересеченный] фактор как случайные.

Я согласен как с @Tim, так и с @RobertLong: если фактор имеет большое количество уровней, включенных в модель (например, все страны мира; или все школы в стране; или, возможно, все население страны). предметы обследуются и т. д.), тогда нет ничего плохого в том, чтобы рассматривать его как случайный - это может быть более экономным, может дать некоторую усадку и т. д.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Если фактор вложен в другой случайный эффект, то он должен рассматриваться как случайный, независимо от количества уровней.

В этой теме возникла путаница (см. Комментарии), поскольку другие ответы касаются случая № 1 выше, но приведенный вами пример является примером другой ситуации, а именно, этого случая № 2. Здесь есть только два уровня (то есть совсем не «большое количество»!), И они исчерпывают все возможности, но они вложены в другой случайный эффект , дающий вложенный случайный эффект.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Детальное обсуждение вашего примера

Стороны и предметы в вашем воображаемом эксперименте связаны как классы и школы в примере стандартной иерархической модели. Возможно, каждая школа (№ 1, № 2, № 3 и т. Д.) Имеет класс A и класс B, и эти два класса должны быть примерно одинаковыми. Вы не будете моделировать классы A и B как фиксированный эффект с двумя уровнями; это было бы ошибкой. Но вы не будете моделировать классы A и B как «отдельный» (т.е. скрещенный) случайный эффект с двумя уровнями; это тоже было бы ошибкой. Вместо этого вы будете моделировать классы как вложенный случайный эффект внутри школ.

Смотрите здесь: Скрещенные и вложенные случайные эффекты: чем они отличаются и как они правильно указаны в lme4?

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Как вы писали сами, «нет никаких оснований полагать, что правые ноги в среднем будут больше левых». Таким образом, не должно быть никакого «глобального» эффекта (ни фиксированного, ни случайного пересечения) правой или левой ноги вообще; вместо этого можно думать, что у каждого субъекта есть «одна» и «другая» ступни, и эту изменчивость мы должны включить в модель. Эти «один» и «другой» ноги вложены в предметы, следовательно, вложенные случайные эффекты.

Более подробная информация в ответ на комментарии. [26 сентября]

Моя модель выше включает Сторону как вложенный случайный эффект в Предметах. Вот альтернативная модель, предложенная @Robert, где Side - фиксированный эффект:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$ комбинацией .

Это не может.

То же самое относится и к гипотетической модели @ gung с использованием Side как скрещенного случайного эффекта:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Он также не учитывает зависимости.

Демонстрация с помощью симуляции [2 октября]

Вот прямая демонстрация в R.

Я генерирую игрушечный набор данных с пятью предметами, измеренными на обеих ногах в течение пяти лет подряд. Влияние возраста линейно. Каждый субъект имеет случайный перехват. И у каждого субъекта одна из ног (левая или правая) больше другой.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Извиняюсь за мои ужасные навыки R. Вот как выглядят данные (каждые пять последовательных точек - это один фут одного человека, измеренный за эти годы; каждые десять последовательных точек - два фута одного и того же человека):

Теперь мы можем разместить несколько моделей:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Все модели включают фиксированный эффект ageи случайный эффект subject, но относятся по- sideразному.

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

Это ясно показывает, что sideследует рассматривать как вложенный случайный эффект.

Наконец, в комментариях @Robert предложил включить глобальный эффект sideв качестве управляющей переменной. Мы можем сделать это, сохраняя вложенный случайный эффект:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

Чтобы добавить к другим ответам:

Я не думаю, что вы логически обязаны всегда использовать фиксированный эффект, как описано в ОП. Даже когда обычные определения / рекомендации относительно того, когда рассматривать фактор как случайный, не соблюдаются, я мог бы склоняться к тому, чтобы моделировать его как случайный при большом количестве уровней, так что обработка коэффициента как фиксированного потребляла бы много степеней свобода и результат в громоздкой и менее экономной модели.

Если вы говорите о ситуации, когда вы знаете все возможные уровни интересующего фактора, а также имеете данные для оценки эффектов, то определенно вам не нужно представлять уровни со случайными эффектами.

Причина, по которой вы хотите установить случайный эффект для фактора, заключается в том, что вы хотите сделать вывод о влиянии всех уровней этого фактора, которые обычно неизвестны. Чтобы сделать такой вывод, вы предполагаете, что эффекты всех уровней в целом образуют нормальное распределение. Но, учитывая ваши проблемы, вы можете оценить влияние всех уровней. Тогда, конечно, нет необходимости устанавливать случайные эффекты и накладывать дополнительные предположения.

Это похоже на ситуацию, когда вы можете получить все значения совокупности (таким образом, вы знаете истинное среднее значение), но вы пытаетесь взять большую выборку из совокупности и использовать центральную предельную теорему для аппроксимации распределения выборки, а затем сделайте вывод о истинном значении.