Интуиция об оценке параметров в смешанных моделях (параметры дисперсии и условные режимы)

Я много раз читал, что случайные эффекты (BLUP / условные режимы, скажем, для субъектов) не являются параметрами линейной модели смешанных эффектов, а вместо этого могут быть получены из оценочных параметров дисперсии / ковариации. Например, Reinhold Kliegl et al. (2011) состояние:

Случайные эффекты - это отклонения испытуемых от среднего значения RT и отклонения испытуемых от параметров с фиксированным эффектом. Предполагается, что они независимо и обычно распределяются со средним значением 0. Важно признать, что эти случайные эффекты не являются параметрами LMM - только их дисперсии и ковариации. [...] Параметры LMM в сочетании с данными субъектов могут использоваться для генерации «предсказаний» (условных режимов) случайных эффектов для каждого субъекта.

Может ли кто-то дать интуитивное объяснение того, как (со) дисперсионные параметры случайных эффектов могут быть оценены без фактического использования / оценки случайных эффектов?

mixed-model intuition blup

— statmerkur
источник

Ответы:

Рассмотрим простую линейную смешанную модель, например, модель случайного перехвата, где мы оцениваем зависимость от у разных субъектов, и предполагаем, что у каждого субъекта есть свой случайный перехват:Здесь перехваты моделируются как поступающие из гауссовского распределения а случайный шум также является гауссовымВ синтаксисе эта модель будет записана как . $y$ $x$

y = a + b x + c_{i} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{i} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Поучительно переписать вышесказанное следующим образом:

\begin{matrix} y ∣ c \sim N (a + b x + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Это более формальный способ указать ту же вероятностную модель. Из этой формулировки мы можем непосредственно видеть, что случайные эффекты не являются «параметрами»: они являются ненаблюдаемыми случайными величинами. Так как же мы можем оценить параметры дисперсии, не зная значений ? $c_i$ $c$

Обратите внимание, что первое уравнение, приведенное выше, описывает условное распределение учетом . Если мы знаем распределение и , то мы можем определить безусловное распределение , интегрируя по . Вы можете знать это как Закон полной вероятности . Если оба распределения являются гауссовыми, то результирующее безусловное распределение также является гауссовым. $y$ $c$ $c$ $y\mid c$ $y$ $c$

В этом случае безусловным распределением является просто , но наши наблюдения не являются образцами из него, поскольку существует несколько измерений на субъект. Чтобы продолжить, нам нужно рассмотреть распределение всего мерного вектора всех наблюдений: где - это блок-диагональная матрица, состоящая из и . Вы просили интуицию, поэтому я хочу избежать математики. Важным моментом является то, что это уравнение не имеет $\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (a + b x, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$ больше! Это то, что в действительности соответствует наблюдаемым данным, и поэтому говорят, что не являются параметрами модели.

c_{i}

$c_i$

Когда параметры , , и подходят, можно определить условное распределение для каждого . То, что вы видите на выходе смешанной модели, это режимы этих распределений, или условные режимы. $a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— амеба говорит восстановить монику
источник

Мне нравится этот ответ. Мне тоже понравился вопрос. Лично я все еще борюсь за механизм (я фактически никогда не заботился об этом, чтобы изучить алгоритмы, которые решают LMEM). Поэтому я предполагаю, что разница между случайными эффектами достигается изменением с на Я полагаю, что крошечный пример, который решает эту проблему, может быть хорошим. Я собираюсь сделать это сам, но, может быть, есть ресурсы, которые уже показывают такие примеры (кто-нибудь?).

y \sim N (a + b x, σ^{2} I)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (a + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Секст Эмпирик

c

$c$

c

$c$

c

$c$

Я думаю, что я просто не получаю шаг интеграции. Как @Martijn Weterings указал на небольшой (R code) пример или ссылку, можно найти, что это было бы здорово!

— statmerkur

Спасибо, что приняли мой ответ и присудили мне награду @statmerkur, но очень жаль, что она остается неясной. Я постараюсь придумать пример. Я буду пинговать тебя, когда я обновлю ответ.

— амеба говорит восстановить Монику

@statmerkur В ответе на этот вопрос я продемонстрирую ручной расчет модели смешанных эффектов (ручной в смысле написания функции правдоподобия, оптимизация по-прежнему выполняется стандартной функцией оптимизации в R) stats.stackexchange.com/a/ 337348/164061

— Секст Эмпирик

Вы можете легко оценить параметры дисперсии и ковариации, не полагаясь на случайные эффекты, используя фиксированные эффекты (см. Здесь обсуждение фиксированных эффектов и случайных эффектов; помните о том, что существуют разные определения этих терминов).

Фиксированные эффекты можно легко получить, добавив (двоичную) переменную индикатора для каждой группы (или каждого периода времени или того, что вы планируете использовать в качестве случайных эффектов; это эквивалентно внутреннему преобразованию). Это позволяет легко оценить фиксированные эффекты (которые можно рассматривать как параметр).

Предположение о фиксированных эффектах не требует, чтобы вы делали предположение о распределении фиксированных эффектов, вы можете легко оценить дисперсию фиксированных эффектов (хотя это чрезвычайно шумно, если количество наблюдений в каждой группе мало; они минимизируют смещение за счет гораздо большей дисперсии по сравнению со случайными эффектами, потому что вы теряете одну степень свободы для каждой группы путем добавления этих переменных показателя). Вы также можете оценить ковариации между различными наборами фиксированных эффектов или между фиксированными эффектами и другими ковариатами. Мы сделали это, например, в статье под названием « Конкурентное равновесие и ассортативное соответствие» в немецкой бундеслиге, чтобы оценить, все ли лучше футболисты играют за лучшие команды.

Случайные эффекты требуют предварительного предположения о ковариации. В классических моделях со случайными эффектами вы предполагаете, что случайные эффекты подобны ошибке, и они не зависят от других ковариат (так что вы можете игнорировать их и использовать OLS и получать непротиворечивые, хотя и неэффективные оценки для другого параметра, если предположения модели случайных эффектов справедливо).

Более подробная техническая информация доступна здесь . Эндрю Гельман также проделал много интуитивной работы над этим в своей замечательной книге « Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей».

— Арне Йонас Варнке
источник

Я имею в виду (со) параметры дисперсии случайных эффектов (см. Мое редактирование).

— statmerkur

Я не думаю, что это отвечает на вопрос.

— говорит амеба, восстанови Монику