Примеры, где метод моментов может превзойти максимальную вероятность в маленьких выборках?

57

Оценки максимального правдоподобия (MLE) асимптотически эффективны; мы видим практический результат в том, что они часто работают лучше, чем оценки методом моментов (MoM) (когда они различаются), даже при небольших размерах выборки

Здесь «лучше чем» означает то, что обычно имеет меньшую дисперсию, когда оба несмещены, и, как правило, меньше среднеквадратичная ошибка (MSE) в более общем смысле.

Однако возникает вопрос:

Есть ли случаи, когда МЗ может побить MLE - скажем, на MSE - в небольших выборках?

(где это не какая-то странная / вырожденная ситуация - то есть, учитывая, что условия для ML существуют / асимптотически эффективны)

Тогда последующим вопросом будет «насколько большим может быть маленький?». - то есть, если есть примеры, есть ли такие, которые все еще сохраняются при относительно больших размерах выборки, возможно, даже при всех конечных размерах выборки?

[Я могу найти пример смещенной оценки, которая может побить ML в конечных выборках, но это не MoM.]

Примечание добавлено ретроспективно: мой фокус здесь в первую очередь на одномерном случае (именно отсюда и происходит мое любопытство). Я не хочу исключать многовариантные случаи, но я также не хочу особенно углубляться в расширенные обсуждения оценки Джеймса-Стейна.

— Glen_b
источник

Нет проблем; это случается со всеми нами и со мной чаще, чем с вами. Наверное, мне следовало бы это правильно указать в названии, но это было уже довольно долго.

— Glen_b

@cardinal Теперь я уточнил критерии.

— Glen_b

3

Существуют и другие способы, с помощью которых метод моментов может «превзойти» максимальную вероятность. Например, в задачах оценки нормальной смеси MLE, как известно, трудно вычислить, в то время как MoM нет.

— vqv

@vqv Конечно, в этом смысле MoM может быть предпочтительнее.

— Glen_b

2

Так как я склонен симпатизировать плебеям, я сообщаю, что в выборке из iid Uniforms оценка MoM для имеет то же значение MSE, что и для патриция (MLE), если размер выборки равен , или ... Но, увы, для больших размеров выборки патриций снова

U (0, θ)

$U(0,\theta)$

θ

$\theta$

1

$1$

2

$2$

— отстаивает

36

Это может считаться ... обманом, но оценщик OLS является оценщиком MoM. Рассмотрим стандартную спецификацию линейной регрессии (с стохастическими регрессорами, поэтому величины зависят от матрицы регрессоров) и выборку размера . Обозначим OLS-оценку дисперсии ошибки. Это непредвзято так $K$ $n$ $s^2$ $\sigma^2$

M S E (s^{2}) = Var (s^{2}) = \frac{2 σ^{4}}{n - K}

$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$

Теперь рассмотрим MLE . это $\sigma^2$

{\hat{σ}}_{M L}^{2} = \frac{n - K}{n} s^{2}

$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$ Это предвзято. Его MSE

M S E ({\hat{σ}}_{M L}^{2}) = Var ({\hat{σ}}_{M L}^{2}) + [E ({\hat{σ}}_{M L}^{2}) - σ^{2}]^{2}

$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$ Выражая MLE в терминах OLS и используя выражение для дисперсии оценки OLS, мы получаем

M S E ({\hat{σ}}_{M L}^{2}) = {(\frac{n - K}{n})}^{2} \frac{2 σ^{4}}{n - K} + {(\frac{K}{n})}^{2} σ^{4}

$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$

\Rightarrow M S E ({\hat{σ}}_{M L}^{2}) = \frac{2 (n - K) + K^{2}}{n^{2}} σ^{4}

$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$

Мы хотим условия (если они существуют), при которых

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2}) \Rightarrow \frac{2 (n - K) + K^{2}}{n^{2}} > \frac{2}{n - K}

$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$

\Rightarrow 2 (n - K)^{2} + K^{2} (n - K) > 2 n^{2}

$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$

2 n^{2} - 4 n K + 2 K^{2} + n K^{2} - K^{3} > 2 n^{2}

$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$ Упрощая, мы получаем ли для этого квадратичного в получить отрицательные значения? Нам нужен его дискриминант, чтобы быть позитивным. У нас есть что на этот раз является еще одним квадратичным, по . Этот дискриминант является поэтому чтобы принять во внимание тот факт, что является целым числом. Если

- 4 n + 2 K + n K - K^{2} > 0 \Rightarrow K^{2} - (n + 2) K + 4 n < 0

$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$

K

$K$

Δ_{K} = (n + 2)^{2} - 16 n = n^{2} + 4 n + 4 - 16 n = n^{2} - 12 n + 4

$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$

n

$n$

Δ_{n} = 12^{2} - 4^{2} = 8 \cdot 16

$\Delta_n = 12^2 - 4^2 = 8\cdot 16$

n_{1}, n_{2} = \frac{12 \pm \sqrt{8 \cdot 16}}{2} = 6 \pm 4 \sqrt{2} \Rightarrow n_{1}, n_{2} = {1, 12}

$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$

n

$n$

n

$n$ внутри этого интервала мы имеем, что и квадратик в всегда принимает положительные значения, поэтому мы не можем получить требуемое неравенство. Итак: нам нужен размер выборки больше 12.

Δ_{K} < 0

$\Delta_K <0$

K

$K$

Учитывая это, корни для квадратичного $K$

K_{1}, K_{2} = \frac{(n + 2) \pm \sqrt{n^{2} - 12 n + 4}}{2} = \frac{n}{2} + 1 \pm \sqrt{{(\frac{n}{2})}^{2} + 1 - 3 n}

$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$

В целом: для образца размером и число регрессоров такое , что мы имеем Для Например, если то обнаруживается, что число регрессоров должно быть чтобы неравенство сохранялось. Интересно, что для небольшого числа регрессоров MLE лучше в смысле MSE. $n>12$ $K$ $\lceil K_1\rceil <K<\lfloor K_2\rfloor$

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2})

$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$

n = 50

$n=50$

5 < K < 47

$5<K<47$

ADDENDUM
Уравнение для корней квадратичного можно записать $K$

K_{1}, K_{2} = (\frac{n}{2} + 1) \pm \sqrt{{(\frac{n}{2} + 1)}^{2} - 4 n}

$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$ что, на мой взгляд, означает, что нижний корень всегда будет будет (принимая во внимание ограничение "целочисленного значения"), поэтому MLE будет эффективен по MSE, когда регрессоры до для любого (конечного) размера выборки.

5

$5$

5

$5$

— Алекос Пападопулос
источник

1

E (u^{'} u ∣ X) = σ^{2}

$E(u'u\mid X) = \sigma^2$

E (u^{'} u ∣ X)

$E(u'u \mid X)$

σ^{2}

$\sigma^2$

1

n

$n$

n - K

$n - K$

E [X_{k} (Y - X β)] = 0

$E[X_k(Y - X \beta)] = 0$

E [(Y - X β)^{2}] = σ^{2}

$E[(Y - X\beta)^2] = \sigma^2$

n

$n$ в знаменателе.

— парень

2

n - K

$n-K$

n

$n$

1

@guy (ПРОДОЛЖЕНИЕ). Итак, вы говорите, что оценщик MoM дисперсии ошибок в этом случае является оценщиком максимального правдоподобия, и поэтому полученный мной результат сравнивает не MoM с ML, а ML с OLS (последний является категорией сам по себе). .. да, можно утверждать, что это (также) так.

— Алекос Пападопулос

1

e

$e$

E (e^{2}) = \frac{n - k}{n} σ^{2}

$E(e^2)=\frac{n-k}{n}\sigma^2$

σ^{2}

$\sigma^2$

s^{2}

$s^2$

17

«В этой статье мы рассмотрим новую параметризацию двухпараметрического обратного гауссовского распределения. Найдем оценки параметров обратного гауссовского распределения методом моментов и методом максимального правдоподобия. Затем сравним эффективность Оценки для двух методов основаны на их смещении и среднеквадратичной ошибке (MSE). Для этого мы фиксируем значения параметров, запускаем симуляции и сообщаем MSE и смещение для оценок, полученных обоими методами. Вывод таков: когда размеры выборки равны 10, метод моментов, как правило, более эффективен, чем метод максимального правдоподобия для оценки обоих параметров (лямбда и тета) .... " подробнее

В настоящее время нельзя (или не следует) доверять всему опубликованному, но последняя страница газеты выглядит многообещающей. Я надеюсь, что это адрес вашей заметки добавлен ретроспективно.

— Hibernating
источник

1

θ

$\theta$

Хорошая находка! Даже если результаты не совпадают, приятно видеть где-то явно заявленную претензию.

— Бен Огорек

Статья, на которую я ссылался в своем ответе, была взята из тезиса магистратуры, который полностью доступен здесь: digi.library.tu.ac.th/thesis/st/0415. См., Например, раздел 5.2 для соответствующего утверждения. Шесть человек, включая профессора, подписали этот результат.

— Спящий режим

14

В соответствии с моделированием, проведенным Хоскингом и Уоллисом (1987) в «Оценке параметров и квантилей для обобщенного распределения Парето», параметры двухпараметрического обобщенного распределения Парето задаются в формате cdf.

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

или плотность

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

являются более надежными, если они оцениваются с помощью MOM, а не ML. Это верно для образцов размером до 500. Оценки MOM даны

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

а также

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

с участием

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

Бумага содержит довольно много опечаток (по крайней мере, моя версия делает). Приведенные выше результаты для оценок MOM были любезно предоставлены "heropup" в этой теме .

— Joz
источник

Спасибо за это. Это один из самых простых примеров того, что я искал до сих пор.

— Glen_b

13

Я нашел один:

Для асимметричного экспоненциального распределения мощности

f (x) = \frac{α}{σ Γ (\frac{1}{α})} \frac{κ}{1 + κ^{2}} \exp (- \frac{κ^{α}}{σ^{α}} [(x - θ)^{+}]^{α} - \frac{1}{κ^{α} σ^{α}} [(x - θ)^{-}]^{α}), α, σ, κ > 0, and x, θ \in R

$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$

$\theta$ $\sigma$

Delicado and Goria (2008)
. Небольшое сравнение методов максимальной вероятности, моментов и L-моментов для асимметричного экспоненциального распределения мощности,
Журнал «Компьютерная статистика и анализ данных»,
том 52, выпуск 3, январь, стр. 1661-1673.

(также см. http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

— Glen_b
источник

13

Метод моментов (MM) может превзойти подход максимального правдоподобия (ML), когда можно указать только некоторые моменты совокупности. Если распределение плохо определено, оценки ML не будут согласованы.

Предполагая конечные моменты и внутренние наблюдения, ММ может предоставить хорошие оценки с хорошими асимптотическими свойствами.

$X_1, \ldots, X_n$ $X \sim f$ $f: \mathbb{R} \to \mathbb{R}_+$ $\nu_k = \int_{\mathbb{R}} x^k f(x)dx$ $k$ $\nu_4$

$\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$ $\nu_8 < \infty$

\sqrt{n} (\bar{X_{4}} - ν_{4}) \overset{d}{\to} N (0, ν_{8} - ν_{4}^{2}),

$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$

\overset{d}{\to}

$\stackrel{d}{\to}$

\frac{\sqrt{n} (\bar{X_{4}} - ν_{4})}{\sqrt{\bar{X_{8}} - {\bar{X_{4}}}^{2}}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$

\bar{X_{8}} - {\bar{X_{4}}}^{2} \overset{P}{\to} ν_{8} - ν_{4}^{2}

$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

$\nu_4$ $f$

Симуляционное исследование:

Патриота и др. (2009) провели ряд имитационных исследований, чтобы проверить частоту отклонения проверок гипотез в модели ошибок в переменных. Результаты свидетельствуют о том, что подход ММ дает частоту ошибок по нулевой гипотезе ближе к номинальному уровню, чем уровень ML для небольших выборок.

Историческая справка:

Метод моментов был предложен К. Пирсоном в 1894 г. «Вклад в математическую теорию эволюции». Метод максимального правдоподобия был предложен Р. А. Фишером в 1922 г. «О математических основах теоретической статистики». Обе статьи опубликованы в «Философских трудах» Лондонского королевского общества, серия А.

Ссылка:

Фишер, Р. А. (1922). О математических основах теоретической статистики, Философские труды Лондонского королевского общества, серия А, 222, 309-368.

Патриота, AG, Bolfarine, H, де Кастро, M (2009). Модель гетероскедастических структурных ошибок в переменных с ошибкой уравнения, Статистическая методология 6 (4), 408-423 ( pdf )

Пирсон, К (1894). Вклад в математическую теорию эволюции, Философские труды Лондонского королевского общества, Серия А, 185, 71-110.

— Александр патриота
источник

1

Ваш ответ звучит как потенциально интересный. Вы можете расширить это немного? Я не уверен, что вижу.

— Glen_b

@Glen_b, пожалуйста, проверьте, поможет ли вам мое последнее добавление.

— Александр Патриота

Спасибо за это; Я верю, что вижу, к чему ты клонишь.

— Glen_b

Хорошо, это общий комментарий, но я думаю, что он отвечает на ваш вопрос. Если вы предоставляете полную информацию о поведении данных, вполне естественно, что подход ML превосходит подход MM. В статье [1] мы проводим некоторые имитационные исследования, чтобы проверить частоту отклонения проверки гипотез в модели с ошибками в переменных. Результаты свидетельствуют о том, что подход ММ дает частоту ошибок по нулевой гипотезе ближе к номинальному уровню, чем уровень ML для небольших выборок. [1] ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf

— Александр Патриота

Это нетипичный пример метода моментов (MoM). MoM обычно используется в задачах параметрической оценки, где существует строго определенное параметрическое семейство распределений. С другой стороны, здесь вы можете определить непараметрическую оценку максимального правдоподобия. Эмпирическая функция распределения, скажем, F-шляпа, является непараметрической оценкой максимального правдоподобия неизвестной функции распределения F. Учитывая, что 4-й момент является функционалом от F, непараметрическая MLE 4-го момента является 4-м моментом F-шляпы. , Это так же, как образец 4-го момента.

— vqv

5

Дополнительные источники в пользу MOM:

Hong, HP и W.E. 2014. Анализ экстремальных снеговых нагрузок для Канады с использованием записей о глубине снега . Природные опасности 73 (2): 355-371.

Использование MML может дать нереалистичные прогнозы, если размер выборки невелик (Hosking et al. 1985; Martin and Stedinger 2000).

Мартинс, Е.С. и Дж. Р. Стедингер. 2000. Обобщенные квантильные оценки экстремальных значений максимального правдоподобия для гидрологических данных . Исследование водных ресурсов 36 (3): 737-744.

Абстрактные:

Трехпараметрическое обобщенное экстремальное распределение (GEV) нашло широкое применение для описания ежегодных паводков, осадков, скорости ветра, высоты волн, глубины снега и других максимумов. Предыдущие исследования показывают, что параметры оценки максимального правдоподобия (MLE) для малых выборок нестабильны и рекомендуют оценки L-моментов. Более поздние исследования показывают, что метод квантильных оценок моментов имеет на -0,25 <κ <0,30 меньшую среднеквадратичную ошибку, чем L-моменты и MLE. Изучение поведения MLE в малых выборках показывает, что могут быть получены абсурдные значения параметра формы GEV κ. Использование байесовского предварительного распределения для ограничения значений к статистически / физически обоснованному диапазону в обобщенном анализе максимального правдоподобия (GML) устраняет эту проблему.

В разделах «Введение» и «Обзор литературы» приводятся дополнительные документы, в которых делается вывод, что MOM в некоторых случаях превосходит MLE (опять же моделирование экстремальных значений), например

Hosking et al. [1985a] показывают, что оценки параметров MLE для малых выборок очень нестабильны, и рекомендуют оценки, основанные на вероятностном взвешенном моменте (PWM), которые эквивалентны оценкам L-моментов [Hosking, 1990]. [...]

Hosking et al. [1985a] показали, что вероятностно-взвешенные моменты (PM) или эквивалентные L-моменты (LM) оценки для распределения GEV лучше, чем оценки максимального правдоподобия (MLE) с точки зрения смещения и дисперсии для размеров выборки, варьирующихся от 15 до 100. Совсем недавно Madsen et al. [1997a] показали, что квантильные оценки метода моментов (MOM) имеют меньшую RMSE (среднеквадратичное значение ror) для -0,25 <K <0,30, чем LM и MLE при оценке 100-летнего события для размеров выборки 10-50 , MLE предпочтительны только тогда, когда K> 0,3 и размеры выборки скромны (n> = 50).

K (каппа) является параметром формы GEV.

документы, которые появляются в кавычках:

Хоскинг Дж., Уоллис Дж., Вуд Э. (1985) Оценка обобщенного экстремального распределения методом взвешенных по вероятности моментов . Technometrics 27: 251–261.

Madsen, H., PF Rasmussen и D. Rosbjerg (1997) Сравнение методов годовых максимальных рядов и рядов частичной продолжительности для моделирования экстремальных гидрологических явлений , 1, Моделирование на месте, Water Resour. Res., 33 (4), 747-758.

Хоскинг, JRM, L-моменты: анализ и оценка распределений с использованием линейных комбинаций статистики порядка , JR Stat. Soc., Ser. В, 52, 105-124, 1990.

Кроме того, у меня есть тот же опыт, что и в предыдущих работах, в случае моделирования экстремальных событий с малым и средним размером выборки (<50-100, что типично), MLE может дать нереальные результаты, моделирование показывает, что MOM более устойчив и имеет меньше RMSE.

— Арпи
источник

3

В процессе ответа на это: Оценка параметров для бинома я наткнулся на эту статью:

Инграм Олкин, А. Джон Петкау, Джеймс В. Зидек: Сравнение N оценок для биномиального распределения. Яса 1981.

$N$ $\text{Bin}(N,p)$ $p$

— Къетил б Халворсен
источник

Одна вещь, которая очень хороша в этом примере, это то, что очень просто передать ситуацию - многие люди знакомы с биномом (по крайней мере, в концепции, если не всегда с именем).

— Glen_b