Как неправильный априор может привести к правильному заднему распределению?

Мы знаем, что в случае правильного предварительного распределения,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Обычное обоснование этого шага состоит в том, что предельное распределение $X$ , $P(X)$ , является постоянным по отношению к $\theta$ и, таким образом, может быть проигнорировано при получении апостериорного распределения.

Тем не менее, в случае неправильного априора, как вы узнаете, что апостериорное распределение действительно существует? Кажется, в этом, казалось бы, круговом аргументе чего-то не хватает. Другими словами, если я предполагаю, что апостериор существует, я понимаю механизм получения апостериорного, но, похоже, мне не хватает теоретического обоснования того, почему он вообще существует.

PS Я также признаю, что есть случаи, когда неправильный априор приводит к неправильному заднему.

— JSK
источник

Ответы:

Мы обычно принимаем постериоры от неправильных априорных значений если $\pi(\theta)$ существует и является допустимым распределением вероятности (т. е. оно интегрируется точно в 1 по носителю). По существу это сводится к

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

конечно. Если это так, то мы называем эту величину

ипринимаемее в качестве апостериорного распределения, которое мы хотим. Тем не менее, важно отметить, что это не апостериорное распределение и не условное распределение вероятностей (эти два термина являются синонимами в данном контексте).

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

Теперь я сказал, что мы принимаем «апостериорные» распределения от неправильных априорных данных, учитывая вышесказанное. Причина, по которой они приняты, заключается в том, что предыдущий все равно даст нам относительные «баллы» в пространстве параметров; т.е. отношение $\pi(\theta)$ привносит смысл в наш анализ. Значение, которое мы получаем от неправильных приоров в некоторых случаях, может быть недоступно для правильных приоров. Это потенциальное обоснование их использования. См. Ответ Серхио для более тщательного изучения практической мотивации неподходящих приоров. $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Стоит отметить, что эта величина также обладает желаемыми теоретическими свойствами, Degroot & Schervish : $\pi(\theta \mid X)$

Неправильные априоры не являются истинными вероятностными распределениями, но если мы притворимся, что они есть, мы вычислим апостериорные распределения, которые аппроксимируют исходные значения, которые мы получили бы, используя надлежащие сопряженные априорные значения с экстремальными значениями предыдущих гиперпараметров.

Я смущен несколькими вещами в вашем ответе. Вы говорите, что мы принимаем постеры, если вышеизложенное конечно. Означает ли это, что если этот интеграл не конечен, апостериорный не будет конечным? Кроме того, вы, кажется, подразумеваете, что мы используем апостериор в этом случае, но это не реальное распределение - так ли это? разве нет случаев, когда это реальное распространение? Кроме того, какое отношение это имеет к числу приоров? Я не вижу связи.

— Бен Элизабет Уорд

@BenElizabethWard Если

существует, то интеграл

должен существовать (и, следовательно, быть конечным). Противоположное также верно: если

не существует (бесконечно), то

не существует. Когда оно существует и является допустимым распределением вероятностей,

является распределением вероятностей. Однако это не апостериорное распределение для

с заданной вероятностью данных

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

. Апостериора для этого априора не существует. Мы принимаем

в нашем анализе, потому что это приближение.

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard Отношение использовалось, чтобы продемонстрировать, что предыдущий все еще содержит полезную информацию, которую мы не могли бы загрузить в надлежащий априорный. Я отредактирую свой ответ, чтобы включить это.

@jsk

не является распределением вероятностей, но определение апостериорного распределения требует, чтобы

было распределением вероятностей, поэтому обманывать, называть

апостериорным распределением, когда это распределение вероятностей. Degroot и Schervish говорят: «... мы вычислим апостериорные распределения, которые…», согласно которым они предполагают, что вы согласились «притвориться, что они [неправильные априоры] являются [правильными априорами]», как было сказано ранее в цитате.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

Чтобы ваш ответ был полным и автономным, чтобы будущие читатели не читали этот обмен комментариями, вы хотите обновить свой ответ?

— Jsk

Есть «теоретический» ответ и «прагматичный».

С теоретической точки зрения, когда априор неправильный, апостериор не существует (хорошо, посмотрите на ответ Мэтью для более громкого высказывания), но он может быть аппроксимирован ограничительной формой.

Если данные включают в себя условно выбранную выборку из распределения Бернулли с параметром , и имеет бета-распределение с параметрами и , апостериорное распределение является бета-распределением с параметрами ( наблюдения, успехи) и его среднее значение $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ , Если мы используем распределение неправильной (и нереальная) беты перед с предыдущим hypeparameters , и вид , что , т.е. pdf бета-распределения с параметрами и $\alpha=\beta=0$ , мы получаем правильный апостериор, пропорциональный $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ за исключением постоянного фактора. Это предельная форма апостериора для бета-версии с параметрами и (Degroot & Schervish, пример 7.3.13). $\alpha\to 0$ $\beta\to 0$

В нормальной модели со средним значением , известной дисперсией и предварительным распределением для , если предыдущая точность мала по сравнению с точностью данных, , то апостериорное распределение примерно такое, как если бы : $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$ т. е. апостериорное распределение примерно такое же, как если бы

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

пропорционально константе для

p (θ)

$p(\theta)$

, распределение, которое не является строго возможным, но является предельной формой апостериорного приприближении

существует (Gelman et al., p. 52).

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

С "прагматической" точки зрения, при независимо от есть, так что если в , тогда $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ . Неправильные априорные значения могут использоваться для представлениялокальногоповедения предшествующего распределения в области, где вероятность является значительной, скажем, . Предполагая, что в достаточном приближении априор следует следующим формам, таким как или $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— Sergio
источник

Можете ли вы сказать больше о том, почему он не существует с теоретической точки зрения?

— Jsk

Я не мог объяснить лучше, чем Мэтью в его ответе и в его комментариях.

— Серхио

В прагматическом разделе, что у? Также в этом разделе, некоторые из

p (θ ∣ x)

$p(\theta \mid x)$ условия быть вероятностью

p (x ∣ θ)

$p(x\mid \theta)$ ?

— Jsk

Благодарю. Я думаю, что может быть еще одна ошибка ... Вы пишете

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$ , but the prior can't depend on

x

$x$ . Do you mean

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$ ?

— jsk

Right! I've re-written that formulas as they are in Box & Tiao. I was trying to choose a homogeneous notation (e.g. Gelman uses

y

$y$ instead of

x

$x$ , DeGroot uses

ξ (.)

$\xi(.)$ for priors and posteriors etc.) but I ended up in a mess... Thanks!

— Sergio

However, in the case of an improper prior, how do you know that the posterior distribution actually exists?

The posterior might not be proper either. If the prior is improper and the likelihood is flat (because there are no meaningful observations), then the posterior equals the prior and is also improper.

Usually you have some observations, and usually the likelihood is not flat, so the posterior is proper.

— Neil G
источник