Вычисление меж-рейтинговой надежности в R с переменным числом оценок?

Википедия предполагает, что одним из способов оценки надежности между оценками является использование модели случайных эффектов для вычисления внутриклассовой корреляции . Пример внутриклассовой корреляции говорит о взгляде на

от модели

«где Y _ij - j- ^е наблюдение в i- ^й группе, μ - ненаблюдаемое общее среднее значение, α _i - ненаблюдаемый случайный эффект, общий для всех значений в группе i, а ε _ij - ненаблюдаемый шумовой термин».

Это привлекательная модель, особенно потому, что, по моим данным, ни один оценщик не оценивал все вещи (хотя большинство оценивали более 20), а вещи оценивали разное число раз (обычно 3-4).

Вопрос № 0: является ли «группа i» в этом примере («группа i») группой оцениваемых вещей?

Вопрос № 1: Если я ищу надежность между оценщиками, не нужна ли мне модель случайных эффектов с двумя терминами, один для оценщика и один для оцениваемой вещи? В конце концов, у обоих есть возможное изменение.

Вопрос № 2: Как бы я лучше выразить эту модель в R?

Похоже, у этого вопроса есть симпатичное предложение:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Я посмотрел на пару вопросов , и синтаксис параметра «random» для lme для меня непрозрачен. Я прочитал страницу помощи для lme , но описание «random» для меня непонятно без примеров.

Этот вопрос несколько похож на длинный список из вопросов , с этим самым близким. Тем не менее, большинство не обращаются к R подробно.

Модель, на которую вы ссылаетесь в своем вопросе, называется «односторонней моделью». Предполагается, что эффекты случайных строк являются единственным систематическим источником дисперсии. В случае надежности между рядами строки соответствуют объектам измерения (например, объектам).

Односторонняя модель : где - среднее значение для всех объектов, - эффект строки, а - остаточный эффект.

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

Однако есть и «двусторонние модели». Они предполагают, что есть разница, связанная со случайными эффектами строк, а также со случайными или фиксированными эффектами столбцов. В случае надежности между столбцами столбцы соответствуют источникам измерения (например, оценщикам).

Двусторонние модели : где - среднее значение для всех объекты, - эффект строки, - эффект столбца, - эффект взаимодействия, а - остаточный эффект. Разница между этими двумя моделями заключается во включении или исключении эффекта взаимодействия.

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

Используя двустороннюю модель, вы можете рассчитать один из четырех коэффициентов ICC: ICC (C, 1) согласованности одного балла, ICC (C, k) согласования среднего балла, ICC (A, 1) с одним баллом или средний балл по соглашению ICC (A, k). ICC с единым счетом применяются к единичным измерениям (например, отдельным оценщикам), тогда как ICC со средним счетом применяются к средним измерениям (например, среднее значение для всех оценщиков). ICC согласованности исключают дисперсию столбца из дисперсии знаменателя (например, разрешая оценщикам варьироваться в зависимости от их собственных средств), тогда как ICC соглашения включают дисперсию столбца в дисперсии знаменателя (например, требуя, чтобы оценщики варьировались вокруг одного и того же среднего значения).$x_{ij}$$\bar{x}_i$

Вот определения, если вы предполагаете эффект случайного столбца:

Двусторонние определения ICC со случайными эффектами (с или без эффекта взаимодействия) :

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Вы также можете оценить эти значения, используя средние квадраты из ANOVA:

Двусторонние оценки ICC :

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ ICC(A,k)=MSR-MS $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Вы можете вычислить эти коэффициенты в R, используя пакет irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Ссылки

McGraw, KO & Wong, SP (1996). Формирование выводов о некоторых внутриклассовых коэффициентах корреляции. Психологические методы, 1 (1), 30–46.

Shrout, PE & Fleiss, JL (1979). Внутриклассные корреляции: использование при оценке достоверности оценок. Психологический вестник, 86 (2), 420–428.