В чем разница в байесовской оценке и оценке максимального правдоподобия?

Пожалуйста, объясните мне разницу в байесовской оценке и оценке максимального правдоподобия?

Это очень широкий вопрос, и мой ответ здесь только начинает немного царапать поверхность. Я буду использовать правило Байеса, чтобы объяснить концепции.

Давайте предположим , что набор параметров распределения вероятностей, & , лучше всего объясняет набор данных D . Мы можем оценить параметры θ с помощью правила Байеса:$\theta$$D$$\theta$

Ниже приведены объяснения:

Оценка максимального правдоподобия

$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

Байесовская оценка

$p(\theta|D)$$\theta$

$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

$evidence$

Это приводит к концепции «сопряженных априоров» в байесовской оценке. Для данной функции правдоподобия, если у нас есть выбор относительно того, как мы выражаем наши предыдущие убеждения, мы должны использовать эту форму, которая позволяет нам выполнять интеграцию, показанную выше. Идея сопряженных априорных значений и их практическая реализация довольно хорошо объяснены в этой статье COOlSerdash.

Я думаю, что вы говорите об оценке точек как в параметрическом выводе, так что мы можем принять параметрическую вероятностную модель для механизма генерации данных, но фактическое значение параметра неизвестно.

Оценка максимального правдоподобия относится к использованию модели вероятности для данных и оптимизации совместной функции правдоподобия наблюдаемых данных по одному или нескольким параметрам. Поэтому видно, что оценочные параметры наиболее соответствуют наблюдаемым данным относительно любого другого параметра в пространстве параметров. Обратите внимание, что такие функции правдоподобия не обязательно рассматриваются как «условные» для параметров, так как параметры не являются случайными переменными, поэтому несколько сложнее представить себе вероятность различных результатов, сравнивающих две разные параметризации. Оказывается, это философски обоснованный подход.

Байесовская оценка немного более общая, потому что мы не обязательно максимизируем байесовский аналог вероятности (апостериорная плотность). Однако аналогичный тип оценки (или апостериорная оценка моды) рассматривается как максимизация вероятности апостериорного параметра, зависящего от данных. Обычно оценки Байеса, полученные таким образом, ведут себя почти точно так же, как и оценки ML. Ключевым отличием является то, что байесовский вывод позволяет явным методом включить предшествующую информацию.

Кроме того, «Эпическая история максимального правдоподобия делает для читающего освещения

http://arxiv.org/pdf/0804.2996.pdf

Байесовская оценка - это байесовский умозаключение, в то время как MLE - это один из методов частичного вывода.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

Альтернатива MLE в байесовском выводе называется максимальной апостериорной оценкой (для краткости MAP), и на самом деле MLE - это особый случай MAP, где априор одинаков, как мы видим выше и как указано в Википедии :

С точки зрения байесовского вывода MLE является частным случаем максимальной апостериорной оценки (MAP), которая предполагает равномерное предварительное распределение параметров.

За подробностями обращайтесь к этой замечательной статье: MLE против MAP: связь между максимальным правдоподобием и максимальной апостериорной оценкой .

И еще одно отличие состоит в том, что максимальная вероятность подвержена переоснащению, но если вы применяете байесовский подход, проблемы переопределения можно избежать.