Почему апостериорная плотность пропорциональна функции вероятности, умноженной на предыдущую плотность?

11

Согласно теореме Байеса, . Но согласно моему эконометрическому тексту говорится, что . Почему это так? Я не понимаю, почему игнорируется. $P(y|\theta)P(\theta) = P(\theta|y)P(y)$ $P(\theta|y) \propto P(y|\theta)P(\theta)$ $P(y)$

bayesian conditional-probability likelihood

— байес-проблема
источник

1

Обратите внимание, что здесь не говорится, что они равны, но пропорциональны (с точностью до множителя, то есть )

1 / P (y)

$1/P(y)$

— jpmuc

4

P (y)

$P(y)$ не игнорируется, а рассматривается как константа, поскольку она является функцией данных которые зафиксированы для рассматриваемой проблемы. Если где является константой (то есть не зависит от ), то мы можем написать что просто означает, что (неопределенная) константа. Обратите внимание, что экстремумы и происходят в тех же местах, так что такие вещи, как оценки максимальной апостериорной вероятности (MAP или MAPP), могут быть найдены из без необходимости знать (или вычислять) .

y

$y$

A (x) = c B (x)

$A(x) = cB(x)$

c

$c$

x

$x$

A (x) \propto B (x)

$A(x) \propto B(x)$

\frac{A (x)}{B (x)}

$\frac{A(x)}{B(x)}$

A (x)

$A(x)$

B (x)

$B(x)$

P (y ∣ θ) P (θ)

$P(y\mid\theta)P(\theta)$

P (y)

$P(y)$

— Дилип Сарвейт

14

$Pr(y)$ , предельная вероятность , не «игнорируется». Это просто постоянно. Деление на приводит к «пересчету» вычислений которые должны измеряться как собственные вероятности, то есть на интервале . Без этого масштабирования они по-прежнему являются абсолютно допустимыми относительными мерами, но не ограничиваются интервалом . $y$ $Pr(y)$ $Pr(y|\theta)P(\theta)$ $[0,1]$ $[0,1]$

$Pr(y)$ часто "пропускается", потому что часто трудно оценить, и обычно достаточно удобно косвенно выполнять интегрирование с помощью симуляции. $Pr(y)=\int Pr(y|\theta)Pr(\theta)d\theta$

— Sycorax говорит восстановить Монику
источник

11

Заметь

P (θ | y) = \frac{P (θ, y)}{P (y)} = \frac{P (y | θ) P (θ)}{P (y)} .

$P(\theta | y) = \frac{P(\theta, y)}{P(y)} = \frac{P(y | \theta) P(\theta)}{P(y)}.$

Поскольку вы заинтересованы в вычислении плотности , любая функция, которая не зависит от этого параметра, например может быть отброшена. Это дает вам $\theta$ $P(y)$

P (θ | y) \propto P (y | θ) P (θ) .

$P(\theta | y) \propto P(y | \theta) P(\theta).$

Следствием отбрасывания является то, что теперь плотность утратила некоторые свойства, такие как интегрирование с 1 в области . Это не имеет большого значения, поскольку обычно не заинтересованы в интеграции функций правдоподобия, а в их максимизации. И когда вы максимизируете функцию, умножая эту функцию на некоторую константу (помните, что в байесовском подходе данные фиксированы), это не меняет что соответствует максимальной точке. Это меняет значение максимального правдоподобия, но, опять же, каждый обычно интересуется относительным расположением каждого . $P(y)$ $P(\theta | y)$ $\theta$ $y$ $\theta$ $\theta$

— Вальдир Леонсио
источник