Сравнение оценки максимального правдоподобия (MLE) и теоремы Байеса

12

В теореме Байеса , а из книги, которую я читаю, называется вероятность , но я предполагаю , что это всего лишь условная вероятность от дается , не так ли?

п (Y | Икс) знак равно \frac{п (Икс | Y) п (Y)}{п (Икс)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

Оценка максимального правдоподобия пытается максимизировать , верно? Если это так, я сильно запутался, потому что обе случайные величины, верно? Для максимального только выяснить , в ? Еще одна проблема, если эти 2 случайные величины независимы, то это просто , верно? Тогда максимизация означает максимизацию . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Или, может быть, $p(x|y)$ является функцией некоторых параметров $\theta$ , то есть $p(x|y; \theta)$ , и MLE пытается найти $\theta$ которая может максимизировать $p(x|y)$ ? Или даже , что $y$ на самом деле параметры модели, а не случайной величины, максимизируя вероятность, чтобы найти ? $\hat y$

ОБНОВИТЬ

Я новичок в машинном обучении, и эта проблема - путаница из материала, который я прочитал из учебника по машинному обучению. Здесь, учитывая наблюдаемый набор данных $\{x_1,x_2,...,x_n\}$ , целевыми значениями являются , и я пытаюсь подогнать модель по этому набору данных, поэтому я предполагаю, что, учитывая , имеет форму распределения с именем параметризованный , то есть , и я предполагаю, что это апостериорная вероятность , верно? $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Теперь, чтобы оценить значение , я использую MLE. Хорошо, вот моя проблема, я думаю, что вероятность , верно? Максимизация вероятности означает, что я должен выбрать правильные и ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Если мое понимание вероятности неверно, пожалуйста, покажите мне правильный путь.

bayesian maximum-likelihood

— авокадо
источник

Я думаю, что путаница заключается в следующем: теорема Байеса - это просто манипулирование условными вероятностями, которые вы даете в начале своего вопроса. Байесовская оценка использует теорему Байеса , чтобы сделать оценки параметров. Только в последнем случае в игру вступают оценка максимального правдоподобия (MLE), параметр тета и т. Д.

— Жубарб

@Berkan, ну, на самом деле я пытаюсь выяснить, какова вероятность, учитывая

.

x, y, θ

$x,y,\theta$

— авокадо

1

Я вижу, я бы порекомендовал вам взглянуть на этот большой набор вводных слайдов лекций в оценке параметров.

— Жубарб

1

Еще одна замечательная тема для чтения - «Эмпирические байесовские оценки». Мы только что узнали о них в моем классе :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic,

16

Я думаю, что основное недоразумение проистекает из вопросов, которые вы задаете в первой половине вашего вопроса. Я отношусь к этому ответу как к контрасту MLE и байесовской логической логики. Очень доступное обсуждение MLE можно найти в главе 1 Гэри Кинга « Объединяющая политическая методология». Байесовский анализ данных Гельмана может предоставить подробную информацию о байесовской стороне.

В теореме Байеса и из книги, которую я читаю,называется вероятностью, но я предполагаю, что это просто условная вероятностьзаданная, верно?
$п (Y | Икс) знак равно \frac{п (Икс | Y) п (Y)}{п (Икс)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Вероятность - это условная вероятность. Для байесовской формулы эта формула описывает распределение параметра учетом данных и предшествующего значения . Но поскольку эти обозначения не отражают ваше намерение, впредь я буду использовать ( , ) для параметров и для ваших данных. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Но ваше обновление указывает, что наблюдаются из некоторого распределения . Если мы разместим наши данные и параметры в соответствующих местах в правиле Байеса, мы обнаружим, что эти дополнительные параметры не создают проблем для байесовских уравнений: $x$ $p(x|\theta,y)$

п (θ | Икс, Y) знак равно \frac{п (Икс, Y | θ) п (θ)}{п (Икс, Y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Я верю, что это выражение - то, что вам нужно в вашем обновлении.

Оценка максимального правдоподобия пытается максимизировать , верно? $p(x,y|\theta)$

Да. MLE утверждает, что то есть обрабатывает член

п (Икс, Y | θ) α п (θ | Икс, Y)

$p(x,y|\theta) \propto p(\theta|x,y)$

как неизвестная (и непознаваемая) константа. Напротив, в байесовском умозаключении

рассматриваетсякак нормализующая константа (так что вероятности суммируются / интегрируются в единицу), а

как ключевой элемент информации: предыдущая. Мы можем думать о

как о способе наложения штрафа на процедуру оптимизации за «слишком большое отклонение» от региона, который мы считаем наиболее вероятным.

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Если это так, я сильно запутался, потому что - случайные переменные, верно? Для максимального просто выяснить & ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

В предполагается быть фиксированной величиной, неизвестно , но в состоянии сделать вывод, не является случайной величиной. Байесовский вывод рассматривает как случайную величину. Функции плотности байесовской логический вывод ставит вероятность в и получают функцию плотности вероятности из , а не точечного резюме модели, как и в ОМПЕ. То есть, байесовский вывод рассматривает полный диапазон значений параметров и вероятность каждого из них. MLE утверждает , что является адекватной сводкой данных , приведенных в модель. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax говорит восстановить Монику
источник

1

Спасибо за ваш ответ, я обновляю свой пост, пожалуйста, смотрите мое обновление.

— авокадо

Это обновление в корне изменило мое понимание вопроса. Сначала я думал, что вы рассматриваете

как параметр и

как ваши данные. Теперь кажется, что

являются данными, и вы заинтересованы в построении модели, которая описывает отношения между

и

. Я изменю свой ответ, как у меня есть время.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax говорит восстановить Monica

+1 Это по-прежнему отличный ответ: я надеюсь, что вы сохраните его практически без изменений, даже если вы измените его, чтобы соответствовать изменениям в вопросе.

— whuber

Я обновил свой ответ, чтобы отразить ваш обновленный вопрос. Я надеюсь, что эти детали помогут. Я действительно рекомендую ссылаться на ссылки, которые я упоминаю. И я надеюсь, что @whuber все еще одобряет. ;-)

— Sycorax говорит восстановить Monica

Большое спасибо за обновление, так что вы имеете в виду, что, хотя я выбираю форму распределения для

, я должен относиться к

как к наблюдаемым данным, когда пытаюсь оценить

?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— авокадо

3

Обычно является функцией параметра . Рассмотрим следующую переформулировку теоремы Байеса: $p(x|y)$ $y$

п (θ | Икс) знак равно \frac{п (Икс | θ) п (θ)}{п (Икс)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Или даже более явно (в отношении понятия вероятности):

п (θ | Икс) знак равно \frac{L (θ; Икс) п (θ)}{п (Икс)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Для конкретного примера рассмотрим модель

Икс | θ ~ В я N о м я a L (θ) θ ~ В е T a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— Дэвид Маркс
источник

y

$y$

x

$x$

Y обычно является параметром в PDF-файле X. В настройке для часто используемых пользователей y обычно является фиксированным значением. В байесовской системе Y само является случайной величиной (как в примере, который я привел). X | Y также может быть условной вероятностью в том смысле, в каком вы имеете в виду, я пытался дать вам мотивацию, почему эта величина называется вероятностью.

— Дэвид Маркс

θ

$\theta$

X

$X$

То, что что-то является случайной переменной, не означает, что она не может быть параметром. Добро пожаловать в удивительный мир байесовской вероятности :)

— Дэвид Маркс

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— похлопывание
источник

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

Из справочного руководства STAN:

Если предшествующее является однородным, задний режим соответствует оценке максимального правдоподобия (MLE) параметров. Если предшествующее значение не является однородным, задний режим иногда называют максимальной апостериорной (MAP) оценкой.

— Neerav
источник