Что такое «ограниченная максимальная вероятность» и когда ее следует использовать?

73

Я прочитал в реферате этой статьи, что:

«Процедура максимального правдоподобия (ML) в Hartley aud Rao модифицируется путем адаптации преобразования Паттерсона и Томпсона, которое делит нормальность правдоподобия на две части, одна из которых не имеет фиксированных эффектов. Максимизация этой части дает то, что называется ограниченным максимальным правдоподобием (REML) оценки ".

Я также прочитал в реферате этой статьи, что REML:

«учитывает потерю степеней свободы в результате оценки фиксированных эффектов».

К сожалению, у меня нет доступа к полному тексту этих документов (и, вероятно, я бы не понял, если бы я сделал).

Кроме того, каковы преимущества REML против ML? При каких обстоятельствах REML может быть предпочтительнее ML (или наоборот) при подборе модели смешанных эффектов? Пожалуйста, дайте объяснение, подходящее для кого-то со средним образованием (или чуть выше) математическим образованием!

mixed-model maximum-likelihood reml

— Джо Кинг
источник

см stats.stackexchange.com/questions/99895/...

62

Согласно ответу ocram, ML смещен для оценки компонентов дисперсии. Но обратите внимание, что смещение становится меньше для больших размеров выборки. Следовательно, в ответ на ваши вопросы « ... каковы преимущества REML против ML? При каких обстоятельствах REML может быть предпочтительнее, чем ML (или наоборот) при подборе модели со смешанными эффектами? », Для малых размеров выборки REML предпочтительнее. Однако тесты отношения правдоподобия для REML требуют одинаковой спецификации фиксированных эффектов в обеих моделях. Таким образом, для сравнения моделей с различными фиксированными эффектами (общий сценарий) с тестом LR необходимо использовать ML.

REML учитывает количество оцененных (фиксированных эффектов) параметров, теряя 1 степень свободы для каждого. Это достигается применением ML к остаткам наименьших квадратов, которые не зависят от фиксированных эффектов.

— Роберт Лонг
источник

8

Действительно, оценка REML дисперсионного компонента обычно (приблизительно) несмещена, в то время как оценка ML является отрицательной. Однако оценка ML обычно имеет среднеквадратичную ошибку (MSE) ниже, чем оценка REML. Итак, если вы хотите быть в среднем правы, переходите на REML, но вы платите за это с большей изменчивостью в оценках. Если вы хотите быть в среднем ближе к истинному значению, используйте ML, но вы платите за это с отрицательным уклоном.

— Вольфганг

3

n

$n$

(n - 1)

$(n-1)$

«ML смещен для оценки компонентов дисперсии». Означает ли это дисперсию случайных эффектов или также стандартные ошибки коэффициентов с фиксированным эффектом?

— скан

54

Вот быстрый ответ ...

Стандартный иллюстративный пример

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} (Y_{я} - \bar{Y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

Е ({\hat{σ}}_{ML}^{2}) знак равно \frac{N - 1}{N} σ^{2},

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Оценка REML часто используется в более сложном контексте смешанных моделей. В каждой книге по смешанным моделям есть раздел, в котором более подробно объясняется оценка REML.

редактировать

@Joe King: Вот одна из моих любимых книг о смешанных моделях, которая полностью доступна онлайн. Раздел 2.4.2 посвящен оценке компонентов дисперсии. Приятного чтения :-)

— ocram
источник

Спасибо - это полезно - хотя у меня нет легкого доступа к книгам по смешанным моделям. Пожалуйста, не могли бы вы связать свой ответ с 2 цитатами в моем посте?

— Джо Кинг,

Интересно, как многомерный гауссиан меняет историю? stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

Метод ML недооценивает параметры дисперсии, поскольку предполагает, что фиксированные параметры известны без неопределенности при оценке параметров дисперсии.

Метод REML использует математический прием, чтобы сделать оценки параметров дисперсии независимыми от оценок для фиксированных эффектов. REML работает, сначала получая остатки регрессии для наблюдений, смоделированных частью модели с фиксированными эффектами, игнорируя в этой точке любые компоненты дисперсии.

Оценки ML несмещены для фиксированных эффектов, но смещены для случайных эффектов, тогда как оценки REML смещены для фиксированных эффектов и несмещены для случайных эффектов.

— скан
источник