Какова математическая разница между случайными и фиксированными эффектами?

Я нашел много в интернете относительно интерпретации случайных и фиксированных эффектов. Однако я не мог получить источник, фиксирующий следующее:

Какова математическая разница между случайными и фиксированными эффектами?

Под этим я подразумеваю математическую формулировку модели и способ оценки параметров.

Простейшей моделью со случайными эффектами является односторонняя модель ANOVA со случайными эффектами, заданная наблюдениями с предположениями о распределении: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Здесь случайными эффектами являются . Они являются случайными переменными, тогда как они являются фиксированными числами в модели ANOVA с фиксированными эффектами.$\mu_i$

Например, каждый из трех техников в лаборатории записывает серию измерений, а y i j - j-е измерение техника i . Назовите μ i «истинным средним значением» ряда, сгенерированного техником i ; это немного искусственный параметр, вы можете увидеть μ я как среднее значение, техник я был бы получен , если он / она записала огромную серию измерений.$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Если вы заинтересованы в оценке , μ 2 , μ 3 (например, для оценки смещения между операторами), то вы должны использовать модель ANOVA с фиксированными эффектами.$\mu_1$$\mu_2$$\mu_3$

Вы должны использовать модель ANOVA со случайными эффектами, когда вас интересуют дисперсии и σ 2 b, определяющие модель, и общую дисперсию σ 2 b + σ 2 w (см. Ниже). Дисперсия σ 2 ш представляет собой дисперсию записей , полученных с помощью одного техника (предполагается , чтобы быть одинаковым для всех техников), а σ 2 Ь называется дисперсией между-техническим персоналом . Может быть, в идеале, техников следует выбирать наугад.$\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Эта модель отражает декомпозицию формулы дисперсии для выборки данных:

Общая дисперсия = дисперсия средних средние вариации$+$

что отражается моделью ANOVA со случайными эффектами:

Действительно, распределение определяется его условным распределением ( y i j ), заданным для µ i, и распределением µ i . Если вычислить «безусловное» распределение y i j, то мы найдем y i j ∼ N ( µ , σ 2 b + σ 2 w ) .$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Смотрите слайд 24 и слайд 25 здесь для лучшего изображения (вы должны сохранить файл PDF, чтобы оценить оверлеи, не смотрите онлайн-версию).

По сути, я думаю, что наиболее явным отличием, если вы моделируете фактор как случайный, является то, что предполагается, что эффекты получены из общего нормального распределения.

Например, если у вас есть какая-то модель оценки классов, и вы хотите учесть данные ваших учеников, поступающие из разных школ, и вы моделируете школу как случайный фактор, это означает, что вы предполагаете, что средние значения по школам обычно распределены. Это означает, что два источника изменчивости - это моделирование: изменчивость оценок учеников в школе и вариативность между школами.

Это приводит к тому, что называется частичным пулированием . Рассмотрим две крайности:

1. Школа не оказывает никакого влияния (между школами изменчивость равна нулю). В этом случае линейная модель, которая не учитывает школу, будет оптимальной.
2. Школьная изменчивость больше, чем школьная изменчивость. Тогда вам нужно работать на уровне школы, а не на уровне учеников (меньше # выборок). Это в основном модель, в которой вы учитываете школу, используя фиксированные эффекты. Это может быть проблематично, если у вас есть несколько образцов в школе.

Оценивая изменчивость на обоих уровнях, смешанная модель делает разумный компромисс между этими двумя подходами. Особенно, если у вас не так много # учеников на школу, это означает, что вы получите сокращение эффектов для отдельных школ, как оценивается моделью 2, к общему среднему значению модели 1.

Это объясняется тем, что в моделях говорится, что если у вас есть одна школа с двумя учащимися, что лучше, чем «нормально» для населения школ, то, вероятно, отчасти это объясняется тем, что школе повезло в выборе из двух студентов посмотрели. Он не делает это вслепую, он делает это в зависимости от оценки внутри школьной изменчивости. Это также означает, что уровни воздействия с меньшим количеством выборок более сильно тянутся к общему среднему значению, чем в крупных школах.

Важно то, что вам нужен обмен на уровнях случайного фактора. В этом случае это означает, что школы (исходя из ваших знаний) являются взаимозаменяемыми, и вы ничего не знаете, что отличает их (кроме какого-то удостоверения личности). Если у вас есть дополнительная информация, вы можете включить ее в качестве дополнительного фактора, достаточно, чтобы школы были взаимозаменяемыми при условии учета другой информации.

Например, имеет смысл предположить, что 30-летние взрослые, проживающие в Нью-Йорке, могут обмениваться при условии наличия пола. Если у вас есть больше информации (возраст, этническая принадлежность, образование), имеет смысл также включить эту информацию.

OTH, если у вас есть исследование с одной контрольной группой и тремя группами дико разных заболеваний, не имеет смысла моделировать группу как случайную, поскольку конкретное заболевание не подлежит обмену. Однако многим людям настолько нравится эффект сжатия, что они все равно будут спорить о модели случайных эффектов, но это уже другая история.

Я заметил, что не слишком разбираюсь в математике, но в основном разница в том, что модель случайных эффектов оценивает нормально распределенную ошибку как на уровне школ, так и на уровне учащихся, в то время как модель с фиксированным эффектом имеет ошибку только на уровень студентов. Особенно это означает, что каждая школа имеет свой собственный уровень, который не связан с другими уровнями общим распределением. Это также означает, что фиксированная модель не позволяет экстраполировать учащегося школы, не включенного в исходные данные, в то время как модель случайного эффекта делает это, с вариативностью, которая является суммой уровня учащегося и изменчивости школьного уровня. Если вы особенно заинтересованы в вероятности, мы могли бы это проработать.

В эконо- мике такими эффектами являются индивидуально-специфические перехваты (или константы), которые не соблюдаются, но могут быть оценены с использованием панельных данных (повторное наблюдение на тех же единицах во времени). Метод оценки с фиксированными эффектами учитывает корреляцию между перехватами, специфичными для единицы, и независимыми объяснительными переменными. Случайных эффектов нет. Стоимость использования более гибких фиксированных эффектов заключается в том, что вы не можете оценить коэффициент по переменным, которые не зависят от времени (например, пол, религия или раса).

NB. Другие области имеют свою собственную терминологию, которая может быть довольно запутанной.

В стандартном программном пакете (например, R lmer) основное отличие:

• фиксированные эффекты оцениваются по максимальной вероятности (наименьших квадратов для линейной модели)
• случайные эффекты оцениваются эмпирическим байесовским методом (метод наименьших квадратов с некоторой усадкой для линейной модели, где параметр усадки выбирается по максимальной вероятности)

Если вы байесовец (например, WinBUGS), то никакой разницы нет.

@Joke Модель с фиксированными эффектами подразумевает, что размер эффекта, генерируемый исследованием (или экспериментом), является фиксированным, т.е. повторные измерения для вмешательства дают одинаковый размер эффекта. Вероятно, внешние и внутренние условия для эксперимента не изменяются. Если у вас есть несколько испытаний и / или исследований в разных условиях, у вас будут разные эффекты. Параметрические оценки среднего значения и дисперсии для набора размеров эффекта могут быть реализованы, если предположить, что это фиксированные эффекты или случайные эффекты (реализуемые в суперпопуляции). Я думаю, что это вопрос, который можно решить с помощью математической статистики.