Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Я полагаю, что этот подход также может быть использован для расчета достоверности эффектов (т. Е. Суммарного контрастного эффекта переменной с двумя уровнями), например:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Три вопроса:

Имеют ли смысл приведенные выше вычисления для получения точечной оценки повторяемости эффекта?
Когда у меня есть несколько переменных, повторяемость которых я хочу оценить, добавление их всех к одной и той же подгонке (например lmer(dv~(iv1+iv2|unit)+iv1+iv2) дает более высокие оценки повторяемости, чем создание отдельной модели для каждого эффекта. Это имеет смысл в вычислительном отношении для меня, так как включение нескольких эффектов будет иметь тенденцию уменьшать остаточную дисперсию, но я не уверен, что полученные оценки повторяемости действительны. Они?
Приведенная выше статья предполагает, что профилирование правдоподобия может помочь мне получить доверительные интервалы для оценок повторяемости, но, насколько я могу судить, confint(profile(fit))предоставляет только интервалы для отклонений пересечения и эффекта, в то время как мне дополнительно понадобится интервал для вычисления остаточной дисперсии интервал для повторяемости, нет?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Майк Лоуренс
источник

Я думаю, что могу ответить на ваши вопросы, по крайней мере, относительно нескорректированных оценок повторяемости, то есть классических внутриклассовых корреляций (ICC). Что касается «скорректированных» оценок повторяемости, я пролистал бумагу, которую вы связали, и не понял, где формула, которую вы применяете, находится в документе? Основываясь на математическом выражении, представляется, что это повторяемость средних баллов (а не отдельных баллов). Но не ясно, что это в любом случае критическая часть вашего вопроса, поэтому я проигнорирую это.

(1.) Имеют ли смысл приведенные выше вычисления для получения точечной оценки повторяемости эффекта?

Да, выражение, которое вы предлагаете, имеет смысл, но небольшая модификация предложенной вами формулы необходима. Ниже я покажу, как можно получить предложенный вами коэффициент повторяемости. Я надеюсь, что это проясняет концептуальное значение коэффициента, а также показывает, почему было бы желательно немного изменить его.

Для начала давайте сначала возьмем коэффициент повторяемости в вашем первом случае и уточним, что он означает и откуда он берется. Понимание этого поможет нам понять более сложный второй случай.

Только случайные перехваты

$i$ $j$

Y_{я J} знак равно β_{0} + U_{0 J} + е_{я J},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

$x$ $y$

с о р р знак равно \frac{с о v (Икс, Y)}{\sqrt{v a р (Икс) v a р (Y)}},

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

$x$ $y$ $j$

я С С знак равно \frac{с о v (β_{0} + U_{0 J} + е_{я_{1} J}, β_{0} + U_{0 J} + е_{я_{2} J})}{\sqrt{v a р (β_{0} + U_{0 J} + е_{я_{1} J}) v a р (β_{0} + U_{0 J} + е_{я_{2} J})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

я С С знак равно \frac{σ_{U_{0}}^{2}}{σ_{U_{0}}^{2} + σ_{е}^{2}},

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$

Случайные перехваты и случайные уклоны

Теперь для второго случая, мы должны сначала уточнить, что именно подразумевается под «надежностью эффектов (то есть суммарный эффект контраста переменной с двумя уровнями)» - ваши слова.

$i$ $j$ $k$ $x$

Y_{я J К} знак равно β_{0} + β_{1} {Икс}_{К} + U_{0 J} + U_{1 J} {Икс}_{К} + е_{я J К},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

$j$ $i$

$x$ $|x_1|=|x_2|=x$

Y_{я_{1} J К_{2}} - Y_{я_{1} J К_{1}} знак равно (β_{0} - β_{0}) + β_{1} ({Икс}_{К_{2}} - {Икс}_{К_{1}}) + (U_{0 J} - U_{0 J}) + U_{1 J} ({Икс}_{К_{2}} - {Икс}_{К_{1}}) + (е_{я_{1} J К_{2}} - е_{я_{1} J К_{1}}) знак равно 2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{1} J К_{2}} - е_{я_{1} J К_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

Y_{я_{2} J К_{2}} - Y_{я_{2} J К_{1}} знак равно 2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{2} J К_{2}} - е_{я_{2} J К_{1}},

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

я С С знак равно \frac{с о v (2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{1} J К_{2}} - е_{я_{1} J К_{1}}, 2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{2} J К_{2}} - е_{я_{2} J К_{1}})}{\sqrt{v a р (2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{1} J К_{2}} - е_{я_{1} J К_{1}}) v a р (2 Икс β_{1} + 2 Икс U_{1 J} + е_{я_{2} J К_{2}} - е_{я_{2} J К_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

я С С знак равно \frac{2 {Икс}^{2} σ_{U_{1}}^{2}}{2 {Икс}^{2} σ_{U_{1}}^{2} + σ_{е}^{2}},

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

$x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Когда у меня есть несколько переменных, повторяемость которых я хочу оценить, добавление их всех к одной и той же подгонке (например lmer(dv~(iv1+iv2|unit)+iv1+iv2) дает более высокие оценки повторяемости, чем создание отдельной модели для каждого эффекта. Это имеет смысл в вычислительном отношении для меня, так как включение нескольких эффектов будет иметь тенденцию уменьшать остаточную дисперсию, но я не уверен, что полученные оценки повторяемости действительны. Они?

Я полагаю, что проработка аналогичного деривации, представленной выше, для модели с несколькими предикторами с их собственными случайными наклонами показала бы, что приведенный выше коэффициент повторяемости все еще действителен, за исключением дополнительного усложнения, из-за которого оценки различий, которые мы концептуально заинтересованы, теперь есть немного другое определение: а именно, нас интересует ожидаемая корреляция различий между скорректированными средними значениями после учета других предикторов в модели.

Если другие предикторы ортогональны интересующему предиктору (как, например, в сбалансированном эксперименте), я думаю, что коэффициент ICC / повторяемости, разработанный выше, должен работать без каких-либо изменений. Если они не ортогональны, вам нужно изменить формулу, чтобы учесть это, что может стать сложным, но, надеюсь, мой ответ дал некоторые подсказки о том, как это может выглядеть.

— Джейк Уэстфолл
источник

$R$ $R_n$

Вычисление повторяемости эффектов по модели Лмера

Только случайные перехваты

Случайные перехваты и случайные уклоны