Может ли надлежащая априорная и возведенная в степень вероятность привести к неправильной апостериорной?

(Этот вопрос навеян этот комментарий от Сианя .)

Хорошо известно, что если предварительное распределение $\pi(\theta)$ является правильным и вероятность $L(\theta | x)$ хорошо определена, то апостериорное распределение $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$ почти наверняка.

В некоторых случаях мы используем вместо этого умеренную или возведенную в степень вероятность, приводящую к псевдо-задней

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ для некоторого

α > 0

$\alpha>0$ (например, это может иметь вычислительные преимущества).

В этой ситуации возможно ли иметь надлежащий априорный, но неправильный псевдо-задний?

bayesian prior posterior

— Робин Райдер
источник

На самом деле, спустя несколько минут я бы счел это маловероятным, поскольку расхождение предыдущего продукта x-правдоподобия уменьшается при рассмотрении предыдущего продукта x-правдоподобия ^ α ... Любая крачка, уходящая в бесконечность, идет туда медленнее! А сроки, идущие к нулю медленнее, контролируются соответствующим априором. Моя ставка такова, что это невозможно. (предупреждение: я был признан неправым!)

— Сиань

Возможно , полезным в поиске контрпример при

: неравенство Маркова говорит нам , что

α > 1

$\alpha > 1$

Так что, если вы можете найти случай, когда

имеет многочлен хвосты, то вы можете построить неправильный псевдо-задний.

Е_{θ ~ π} [L (Икс | θ)^{α}] ⩾ T^{α} п_{θ ~ π} (L (Икс | θ) > T) ⟹ Е_{θ ~ π} [L (Икс | θ)^{α}] ⩾ \underset{T > 0}{вир} T^{α} п_{θ ~ π} (L (Икс | θ) > T)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— №8

Будет ли этот аргумент работать и для

? Кроме того, есть ли способ доказать, что вероятность, построенная таким образом, будет правильной?

α < 1

$\alpha < 1$

— InfProbSciX,

На самом деле, для

, так как мы знаем, что

, супремум на RHS всегда конечен, а для

используется ваш аргумент Дженсена, чтобы сделать тот же вывод. Таким образом, аргумент не в этом отношении. Небольшое замечание, что этот аргумент требует неограниченного правдоподобия

для успеха, то есть

для всех

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— 8

Правда, для

вы не можете построить один хороший момент! Должен сказать, я был бы рад увидеть пример неограниченной вероятности! Возможно, бета-апостериор был бы результатом неограниченной вероятности.

α = 1

$\alpha = 1$

— InfProbSciX,

Ответы:

Возможно, для $\alpha \leq 1$ это аргумент, показывающий, что невозможно построить такой апостериор?

Мы хотели бы выяснить, возможно ли это для $\int \tilde \pi(\theta|x)d\theta = \infty$ .

На RHS:

\int π (θ) L^{α} (θ | Икс) d θ знак равно Е_{θ} (L^{α} (θ | Икс))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Если $\alpha \leq 1$ , $x^{\alpha}$ - вогнутая функция, то по неравенству Дженсена:

Е_{θ} (L^{α} (θ | Икс)) \leq Е_{θ}^{α} (L (θ | Икс)) знак равно м (Икс)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... где $m(x)$ как указал Сиань, - нормализующая константа (свидетельство).

— InfProbSciX
источник

Аккуратно, спасибо Мне нравится, что вы используете тот факт, что для

апостериор является правильным.

α = 1

$\alpha=1$

— Робин Райдер

Можно использовать результат в ответе @ InfProbSciX для подтверждения результата в целом. Перепишите $L(\theta\mid x)^\alpha\pi(\theta)$ как

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ),

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$ Если

1 \leq α \leq 2

$1 \leq \alpha \leq 2$ , мы имеем случай неравенства Дженсена выше, так как мы знаем, что

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$ Является normalisable. Аналогично, если

2 \leq α \leq 3

$2 \leq \alpha \leq 3$ , мы можем записать

L (Икс | θ)^{α - п} L (Икс | θ)^{п} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$ причем

1 \leq p \leq 2

$1 \leq p \leq 2$ , снова попадая в тот же случай, так как мы знаем что

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$ нормализуемо. Теперь можно использовать (сильную) индукцию, чтобы показать случай в целом.

Старые комментарии

Не уверен, что это супер полезно, но так как я не могу комментировать, я оставлю это в ответе. В дополнение к превосходному замечанию @ InfProbSciX о $\alpha \leq 1$ , если сделать дополнительное предположение, что $L(\theta \mid x) \in L^p$ , то невозможно иметь правильный априорный, но неправильный псевдо-задний для $1 < \alpha \leq p$ , Например, если мы знаем, что второй ( $p$ ) момент $L(\theta \mid x)$ существует, мы знаем, что он находится в $L^2$ ( $L^p$ ) и, следовательно, псевдо-апостериор будет подходящим для $0 \leq \alpha \leq 2$ . Раздел 1 в этих заметках посвящен чуть более подробно, но, к сожалению, неясно, насколько широк, скажем, $L^{10}$ pdfs. Я прошу прощения, если я говорю вне очереди здесь, я действительно хотел оставить это в качестве комментария.

— Луис Макс Карвалью
источник

Вы правы, если функция правдоподобия

находится в пространстве

- т.е. пространство

по мере, индуцированной предыдущим, то апостериор будет правильным для

. Я полностью догадываюсь здесь, но я думаю, что пространство будет охватывать большинство вероятностей, о которых мы можем подумать - я думаю, что я мог бы прочитать доказательство давным-давно, которое говорит, что если

интегрируемо по Риману, то и его положительные степени также.

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$ хотя интегрируемо Теорема 1.26 для справки

— InfProbSciX

@InfProbSciX, я думаю, что в тени может быть полное доказательство. Я беру из вашего ответа, что

может быть отрицательным. Если это правильно, то мы можем показать, что для любого

псевдосовместимость будет интегрируемой, потому что обратные значения интегрируемых функций интегрируемы. И если вероятность интегрируема, я утверждаю, что апостериор будет интегрируемым, потому что априор ограничен, а произведение интегрируемой и ограниченной функции интегрируемо ( math.stackexchange.com/a/56008/271610 ). Дайте мне знать, что вы думаете.

α

$\alpha$

p > 1

$p > 1$

— Луис Макс Карвалью,

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

Извините, я пропустил это, да, похоже, это будет интересная попытка!

— InfProbSciX