В чем разница между случайными эффектами, фиксированными эффектами и предельной моделью?

Я пытаюсь расширить свои знания в области статистики. Я родом из области физических наук с «основанным на рецептах» подходом к статистическому тестированию, где мы говорим, является ли оно непрерывным, нормально ли оно распределено - регрессия OLS .

В моем чтении я встретил термины: модель случайных эффектов, модель с фиксированными эффектами, маргинальная модель. Мои вопросы:

• Проще говоря, что они?
• Каковы различия между ними?
• Являются ли какие-либо из них синонимами?
• Где традиционные тесты, такие как регрессия OLS, ANOVA и ANCOVA, попадают в эту классификацию?

Просто пытаюсь решить, куда идти дальше с самообучением.

Этот вопрос частично обсуждался на этом сайте, как показано ниже, и мнения кажутся смешанными.

• В чем разница между моделями с фиксированным, случайным и смешанным эффектами?
• Какова математическая разница между случайными и фиксированными эффектами?
• Концепции, лежащие в основе моделей с фиксированными / случайными эффектами

Все термины, как правило, относятся к продольным / групповым / кластеризованным / иерархическим данным и повторным измерениям (в формате расширенной регрессии и ANOVA), но имеют несколько значений в разных контекстах. Я хотел бы ответить на вопрос в формулах, основанных на моих знаниях.

Модель с фиксированными эффектами

• В биостатистике фиксированные эффекты, обозначенные как в уравнении (*) ниже, обычно сочетаются со случайными эффектами. Но модель с фиксированными эффектами также определена таким образом, чтобы предполагать, что наблюдения независимы, как и установки поперечного сечения, как в Продольном анализе данных Hedeker and Gibbons (2006).$\color{red}{\boldsymbol\beta}$
• В эконометрике модель с фиксированными эффектами можно записать в виде где - фиксированный (не случайный) перехват для каждого субъекта ( ), или мы также можем иметь фиксированный эффект как для каждого повторного измерения ( ); обозначает ковариаты. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• В метаанализе модель с фиксированным эффектом предполагает, что лежащий в основе эффект одинаков во всех исследованиях (например, Mantel and Haenszel, 1959).

Модель случайных эффектов

• В биостатистике модель случайных эффектов (Laird and Ware, 1982) можно записать в виде где как предполагается, следует распределению. обозначает ковариаты для фиксированных эффектов, а обозначает ковариаты для случайных эффектов. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• В эконометрике модель случайных эффектов может относиться только к модели случайного перехвата, как в биостатистике, т.е. и - скаляр.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• В метаанализе модель случайных эффектов предполагает гетерогенные эффекты в разных исследованиях (DerSimonian and Laird, 1986).

Маргинальная модель

Маржинальную модель обычно сравнивают с условной моделью (моделью случайных эффектов), а первая сфокусирована на среднем по совокупности (для примера возьмем линейную модель) тогда как последний имеет дело с условным средним значениемИнтерпретация и масштаб коэффициентов регрессии между маргинальной моделью и моделью случайных эффектов будут отличаться для нелинейных моделей (например, логистическая регрессия). Пусть , тогда

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ если тривиальная функция ссылки не является связь идентичности (линейная модель ) или (без случайных эффектов). Хорошие примеры включают обобщенные оценочные уравнения (GEE; Zeger, Liang and Albert, 1988) и маргинальные многоуровневые модели (Heagerty and Zeger, 2000).$h$$u_i=0$

Поправьте меня, если я здесь не прав:

Концептуально, есть четыре возможных эффекта: фиксированный перехват, фиксированный коэффициент, случайный перехват, случайный коэффициент. Большинство моделей регрессии являются «случайными эффектами», поэтому они имеют случайные перехваты и случайные коэффициенты. Термин «случайный эффект» вошел в употребление в отличие от «фиксированного эффекта».

«Фиксированный эффект» - это когда переменная влияет на часть выборки, но не на все. Простейшей версией модели с фиксированным эффектом (концептуально) будет фиктивная переменная для фиксированного эффекта с двоичным значением. Эти модели имеют один случайный перехват, фиксированные коэффициенты эффекта и случайные переменные коэффициенты.

Следующий уровень сложности (концептуально) - это когда фиксированный эффект не двоичный, а номинальный, со многими значениями. В этом случае генерируется модель с множеством перехватов (по одному для каждого из номинальных значений). Здесь вы получаете классические «множественные линии» модели данных панели , где каждый из «параметров» фиксированной переменной эффекта получает свой собственный эффект. Преимущество объединения всех различных рядов данных, зависящих от факторов, в одну регрессию (вместо того, чтобы делать каждый фактор фиксированного эффекта в качестве своей собственной регрессии) состоит в том, что вы можете объединить дисперсию всех различных эффектов в одном уравнении, и поэтому получить лучшие (более определенные) значения для всех ваших коэффициентов.

«Уровень три» усложнения может возникнуть, когда «фиксированный эффект» сам является случайной величиной, за исключением того, что его эффекты «фиксированы» и влияют только на подмножество выборки. В этот момент модель будет иметь случайный перехват, несколько фиксированных перехватов и несколько случайных переменных. Я думаю, что это то, что известно как модель «смешанных эффектов»?

Модели с «смешанным эффектом» используются для многоуровневого моделирования (MLM), поскольку «фиксированные эффекты» могут использоваться для вложения одного подмножества данных в другое. Эта группировка может иметь несколько уровней, при этом учащиеся размещаются в классах, а в школах. Школа оказывает фиксированное влияние на классные комнаты, а классные комнаты - на учеников. (Школа может или не может иметь фиксированное влияние на ученика, в зависимости от плана эксперимента - не уверен)

Панельные модели данных являются моделями с «смешанным эффектом», но для группировки используются два измерения, обычно время и категория.