Когда работает максимальная вероятность, а когда нет?

Меня смущает метод максимального правдоподобия по сравнению, например, с вычислением среднего арифметического.

Когда и почему максимальное правдоподобие дает «лучшие» оценки, чем, например, среднее арифметическое? Как это проверяется?

maximum-likelihood

— mavavilj
источник

+1 Это хороший вопрос для любой статистической процедуры.

— whuber

Я не думаю, что этот вопрос слишком неясен. Конечно, ОП неясна, но именно поэтому они спрашивают. Вопросы, касающиеся природы MLE и арифметических средств, должны быть прояснены с хорошим ответом.

— gung - Восстановить Монику

Что вы подразумеваете под «лучше»? И почему среднее арифметическое должно быть хорошей оценкой произвольного параметра?

— Сиань

На этот вопрос нельзя ответить, не задав сначала определения «лучше», т. Е. Функции потерь или другого критерия, который позволяет сравнивать оценки. Например, MLE является эффективным, что означает, что нет оценки с меньшей асимптотической дисперсией (при некоторых условиях регулярности). И, например, MLE может быть недопустимым, как демонстрирует эффект Стейна , то есть существуют оценки с меньшим квадратичным риском для всех значений параметра при некоторых ограничениях на распределение выборки и размерность параметра.

— Сиань

@ Сиань Это звучит как основа ответа.

— whuber

Ответы:

В то время как среднее арифметическое может звучать как «естественная» оценка, можно спросить, почему оно должно быть предпочтительнее MLE! Единственное надежное свойство, связанное со средним арифметическим, состоит в том, что оно является объективной оценкой $\bar{x}$ когда это ожидание определено. (Думайте о распределении Коши как о контрпримере.) Более поздний действительно обладает широким спектром свойств в условиях регулярности функции правдоподобия. Чтобы позаимствовать состраницы википедии, MLE $\mathbb{E}[X]$

последовательный
асимптотически нормальный
эффективный в том, что он достигает минимальной асимптотической дисперсии
инвариант при биективных преобразованиях
в наборе параметров даже для ограниченных наборов параметров

По сравнению со средним арифметическим, большинство из этих свойств также удовлетворяются для достаточно регулярных распределений. За исключением 4 и 5. В случае экспоненциальных семейств MLE и среднее арифметическое одинаковы для оценки параметра в параметризации среднего (но не для других параметризаций). И MLE существует для выборки из распределения Коши.

Однако при обращении к свойствам оптимальности конечной выборки, таким как минимаксность или допустимость, может случиться, что MLE не является ни минимаксным, ни допустимым. Например, эффект Стейна показывает, что существуют оценки с меньшим квадратичным риском для всех значений параметра при некоторых ограничениях на распределение выборки и размерность параметра. Это тот случай, когда и . $x\sim\mathcal{N}_p(\theta,I_p)$ $p\ge 3$

— Сиань
источник

Просто чтобы уточнить о mle - все 5 перечисленных свойств находятся в контексте предполагаемой модели для населения.

— вероятностная

@CagdasOzgenc: да, доминирование асимптотически ничтожно, но верно для всех

! Однако диапазон минимаксных оценок Джеймса-Стейна уменьшается с

поскольку постоянная сжатия составляет от

до

где

- размерность, а

- дисперсия одного компонента наблюдения. Впрочем, я никогда не слышал об асимптотической минимаксности.

n^{'} s

$n's$

n

$n$

0

$0$

2 (p - 2) σ^{2} / n

$2(p-2)\sigma^2/n$

p

$p$

σ^{2}

$\sigma^2$

— Сиань

Давайте интерпретировать «вычисление среднего арифметического» как оценку с использованием метода моментов (MoM). Я полагаю, что это соответствует первоначальному вопросу, поскольку метод заменяет средние значения выборки на теоретические. Это также решает проблему @ Сиань по поводу произвольного параметра (из произвольной модели).

Если вы все еще со мной, то я думаю, что отличное место для этого - Примеры, где метод моментов может превзойти максимальную вероятность в маленьких выборках?Текст вопроса указывает на то, что «Оценки максимального правдоподобия (MLE) являются асимптотически эффективными; мы видим практический результат в том, что они часто лучше, чем оценки методом моментов (MoM) (когда они различаются)», и ищет конкретные случаи, когда оценки MoM достичь меньшей среднеквадратичной ошибки, чем ее аналог MLE. Приведено несколько примеров в контексте линейной регрессии, двухпараметрического обратного распределения Гаусса и асимметричного экспоненциального распределения мощности.

Эта идея «асимптотической эффективности» означает, что оценки максимального правдоподобия, вероятно, близки к использованию данных в их самом полном потенциале (для оценки рассматриваемого параметра), гарантии, которую вы не получите с методом моментов в целом. Хотя максимальная вероятность не всегда «лучше», чем работа со средними, это свойство эффективности (если только в пределе) делает его методом перехода к наиболее частым. Конечно, противоположность может утверждать, что с увеличением размера наборов данных, если вы указываете на правильную цель с помощью функции средних значений, соглашайтесь с этим.

— Бен Огорек
источник

Есть несколько известных примеров, когда максимальная вероятность (ML) не дает наилучшего решения. См. Статью Люсьена Ле Кэма 1990 года: «Максимальное правдоподобие: введение» [1] , из его приглашенных лекций в Univ. Мэриленд.

Пример, который мне нравится больше всего, потому что это так просто, это:

$X_j$ $Y_j$ $j = 1,...,n$ $X_j\sim N(\mu_j,\sigma^2)$ $Y_j\sim N(\mu_j,\sigma^2)$ $j$ $X_j$ $Y_j$ $j$ $\sigma^2$

Я не испорчу веселье, дав вам ответ, но (неудивительно) есть два способа решить эту проблему с помощью ML, и они дают разные решения. Один - это «среднее арифметическое» квадратов невязок (как и следовало ожидать), а другой - половина среднего арифметического. Вы можете найти ответ здесь на моей странице Github.

— idnavid
источник