Что такое метод моментов и чем он отличается от MLE?

13

В целом кажется, что метод моментов просто сопоставляет наблюдаемое среднее значение выборки или дисперсию с теоретическими моментами для получения оценок параметров. Я понимаю, что это часто то же самое, что и MLE для экспоненциальных семей.

Тем не менее, трудно найти четкое определение метода моментов и четкое обсуждение того, почему MLE, как представляется, в целом предпочтительнее, хотя может быть сложнее найти режим функции вероятности.

Этот вопрос MLE более эффективен, чем метод Момента? есть цитата из проф. Дональда Рубина (из Гарварда), в которой говорится, что с 40-х годов все знают, что MLE побеждает MoM, но мне было бы интересно узнать историю или причины этого.

maximum-likelihood method-of-moments

— frelk
источник

2

Вот презентация, обсуждающая плюсы / минусы MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Джон

Некоторые ответы на сайте обсуждают метод моментов, которые могут помочь вам понять.

— Glen_b

См. Также stats.stackexchange.com/a/129188/28746

— Алекос Пападопулос

1

@Jon: мертвая ссылка.

— Бен - Восстановить Монику

7

В MoM оценщик выбирается таким образом, чтобы некоторая функция имела условное ожидание, равное нулю. Например, . Часто ожидание зависит от . Как правило, это преобразуется в задачу минимизации квадратичной формы в этих ожиданиях с помощью весовой матрицы. $E[g(y,x,\theta)] = 0$ $x$

В MLE оценщик максимизирует функцию логарифмического правдоподобия.

В широком обобщении MLE делает более строгие предположения (полная плотность) и, таким образом, обычно менее надежен, но более эффективен, если предположения выполнены (он достигает нижней границы Крамера Рао для асимптотической дисперсии).

В некоторых случаях они совпадают, при этом OLS является одним заметным примером, когда аналитическое решение идентично и, следовательно, оценщик ведет себя одинаково.

В некотором смысле вы можете думать о MLE (почти во всех случаях) как об оценщике MoM, потому что оценщик устанавливает ожидаемое значение градиента логарифмической функции правдоподобия равным нулю. В этом смысле существуют случаи, когда плотность является неправильной, но MLE все еще согласован, поскольку условия первого порядка все еще выполняются. Тогда MLE упоминается как «квази-ML».

— Superpronker
источник

4

Обычно с MoM относятся к случаю, когда функция g является некоторой степенью, поэтому ожидание является моментом. Это больше похоже на «обобщенный метод моментов».

— kjetil b halvorsen

3

OLS - это метод оценки моментов (MoME). Это также оценка максимального правдоподобия (MLE), но только для особого случая правдоподобия - нормального. Для другого дистрибутива OLS не будет MLE, в то время как это все еще MoME.

— Ричард Харди

2

Каков метод моментов?

В Википедии есть хорошая статья об этом.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Это означает, что вы оцениваете параметры популяции, выбирая параметры таким образом, чтобы распределение популяции имело моменты, которые эквивалентны наблюдаемым моментам в выборке.

Чем он отличается от MLE?

Оценка максимального правдоподобия минимизирует функцию правдоподобия. В некоторых случаях этот минимум иногда можно выразить в терминах установки параметров популяции, равных параметрам выборки.

Например, при оценке среднего параметра распределения и использовании MLE мы часто используем . Однако это не всегда должно быть так (см .: https://stats.stackexchange.com/a/317631/164061, хотя в приведенном здесь примере распределение Пуассона, оценка MLE и MoM совпадают, и То же самое верно и для многих других). Например, решение MLE для оценки в нормальном распределении журнала : $\mu = \bar{x}$ $\mu$

μ = 1 / n \sum l n (x_{i}) = \bar{l n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

В то время как решение MoM решает

e x p (μ + \frac{1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$ ведущий к

μ = l n (\bar{x}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Таким образом, MoM - это практический способ оценки параметров, который часто приводит к тому же результату, что и MLE (поскольку моменты выборки часто совпадают с моментами совокупности, например, среднее значение выборки распределено вокруг среднего значения совокупности, и до некоторого фактора / смещения, это работает очень хорошо). MLE имеет более прочную теоретическую основу и, например, позволяет оценивать ошибки, используя матрицу Фишера (или ее оценки), и это гораздо более естественный подход в случае проблем регрессии (я не пробовал, но я предполагаю, что МО для решения параметров в простой линейной регрессиине работает легко и может дать плохие результаты. В ответе superpronker кажется, что это делается путем некоторой минимизации функции. Для MLE эта минимизация выражает более высокую вероятность, но мне интересно, представляет ли она такую же вещь для MoM).

— Секст Эмпирик
источник

1

Извините, я не могу мимо комментариев ...

MLE делает более строгие предположения (полная плотность) и поэтому, как правило, менее надежен, но более эффективен, если предположения выполнены

На самом деле, в MITx « Основы статистики » мы говорим об обратном: MoM полагается на конкретное уравнение моментов, и если мы подбираем неправильную плотность, мы делаем совершенно неправильно, в то время как MLE более устойчив, поскольку мы во всех случаях минимизируем расхождение КД ..

— Антонелло
источник

Отсутствие репутации не является законным оправданием для использования пространства ответа для комментария.

— Майкл Р. Черник