Почему нужно использовать REML (вместо ML) для выбора среди вложенных моделей var-covar?

Различные описания по выбору модели на случайные эффекты линейных смешанных моделей инструктируют использовать REML. Я знаю разницу между REML и ML на некотором уровне, но я не понимаю, почему REML следует использовать, потому что ML смещен. Например, неправильно ли проводить LRT для параметра дисперсии модели нормального распределения с использованием ML (см. Код ниже)? Я не понимаю, почему в выборе модели важнее быть непредвзятым, чем быть МЛ. Я думаю, что окончательный ответ должен быть «потому что выбор модели работает лучше с REML, чем с ML», но я хотел бы знать немного больше, чем это. Я не читал деривации LRT и AIC (я не достаточно хорош, чтобы понимать их полностью), но если REML явно используется в деривациях, просто зная, что на самом деле будет достаточно (например,

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

Очень короткий ответ: REML - это ML, поэтому тест, основанный на REML, в любом случае верен. Так как оценка параметров дисперсии с помощью REML лучше, ее естественно использовать.

Почему РЕМЛ МЛ? Рассмотрим, например, модель с X ∈ R n × p , Z ∈ R n × q и β ∈ R p - вектор фиксированных эффектов, u ∼ N ( 0 , τ I q ) - вектор случайных эффектов, и e ∼ N ( 0 , σ 2 I n

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$$u \sim \mathcal N(0, \tau I_q)$$e \sim \mathcal N(0, \sigma^2 I_n)$, Ограниченное правдоподобие может быть получено путем рассмотрения являются ортонормированным базисом векторного пространства, ортогонального к пространство, генерируемое столбцами X ); тогда C Y = C Z u $n-p$контрастирует, чтобы "удалить" фиксированные эффекты. Точнее, пусть , такое, что C X = 0 и C C ′ = I n - p (то есть столбцы C $C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$$X$ с ϵ ∼ N ( 0 , σ 2 I n - p ) , а вероятность для τ , σ 2, заданная C Y, является ограниченным правдоподобием. $$CY = CZ u + \epsilon$$ $\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

Тесты отношения правдоподобия - это тесты статистических гипотез, основанные на соотношении двух правдоподобий. Их свойства связаны с оценкой максимального правдоподобия (MLE). (см., например, Оценка максимального правдоподобия (MLE) в терминах непрофессионала ).

В вашем случае (см. Вопрос) вы хотите «выбрать» из двух вложенных моделей var-covar. Допустим, вы хотите выбрать модель, в которой var-covar равен и модель, в которой var-covar равен $\Sigma_g$ , где вторая (простая модель) является частным случаем первого (общий один). $\Sigma_s$

Тест основан на вероятность того, отношение , где. Σ s и $LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$ являются оценки максимального правдоподобия.$\hat{\Sigma}_g$

Статистика является, асимптотически (!) Х 2 . $LR$ $\chi^2$

Известно, что оценки максимального правдоподобия являются последовательными, однако во многих случаях они являются предвзятыми. Это тот случай , для оценок MLE для и Е г , это может быть показывают , что они предвзято. Это потому, что они вычисляются с использованием среднего значения, полученного из данных, так что разброс вокруг этого «оценочного среднего» меньше разброса вокруг истинного среднего (см., Например, Интуитивное объяснение деления на n - 1 при расчете стандартного отклонения ? )$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

Статистики выше, χ 2 в больших образцах, это просто из - за того , что в больших образцах, Σ s и Σ$LR$$\chi^2$$\hat{\Sigma}_s$$\hat{\Sigma}_g$ сходится к их истинным значениям (MLE) согласуется.
(Примечание: в приведенной выше ссылке для очень больших выборок деление на n или на (n-1) не будет иметь значения)

Для небольших образцов, оценивает ОМП Σ s и Σ г будет предвзятый и , следовательно , распределение L R будет отличаться от й 2 , в то время как оценки REML дадут объективные оценки Σ s и Е г , так что если вы используете для выбора модели вар-ковара оценки REML, тогда L R будет для меньших выборок лучше аппроксимироваться χ 2 .$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$$\chi^2$

Обратите внимание, что REML следует использовать только для выбора среди вложенных структур var-covar моделей с одинаковым средним значением, для моделей с разными средними значениями REML не подходит, для моделей с разными значениями следует использовать ML.

У меня есть ответ, который больше связан со здравым смыслом, чем со статистикой. Если вы посмотрите на PROC MIXED в SAS, оценка может быть выполнена с помощью шести методов:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

но REML используется по умолчанию. Почему? По-видимому, практический опыт показал, что он имеет лучшую производительность (например, наименьшая вероятность проблем сходимости). Следовательно, если ваша цель достижима с помощью REML, то имеет смысл использовать REML, а не пять других методов.