Должен ли байесовский апостериор иметь правильное распределение?

Я знаю, что априорные значения не обязательно должны быть правильными и что функция правдоподобия также не интегрируется с 1. Но должен ли апостериор быть правильным распределением? Каковы последствия, если это / нет?

(Несколько удивительно читать предыдущие ответы, которые фокусируются на потенциальной неправильности апостериорного, когда предшествующий является правильным, поскольку, насколько я могу судить, вопрос в том, должен ли апостериор быть правильным ( т. е. интегрируемо в единицу) быть надлежащим (т. е. приемлемым для байесовского вывода) апостериорным.)

В статистике Байесовской, заднее распределение имеет быть распределение вероятностей, из которого можно вывести такие моменты задней средней $\mathbb{E}^\pi[h(\theta)|x]$ и вероятностные утверждения, такие как покрытие вероятного региона, $\mathbb{P}(\pi(\theta|x)>\kappa|x)$ . Если заднийπ ( θ | x

$$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$$ $\pi(\theta|x)$не может быть нормализовано в плотность вероятности, и байесовский вывод просто не может быть проведен. Задний просто не существует в таких случаях.

На самом деле, (1) должно выполняться для всех в пространстве выборки, а не только для наблюдаемого , иначе выбор предыдущего будет зависеть от данных . Это означает, что априоры, такие как априор Холдейна, , для вероятности биномиальной или отрицательной биномиальной переменной X не могут использоваться, поскольку апостериор не является определено для х = 0 .$x$ $x$p X x = $\pi(p)\propto \{1/p(1-p)\}$$p$$X$$x=0$

Я знаю одно исключение, когда можно рассматривать «неправильных постеров»: оно найдено в «Искусстве увеличения данных» Дэвида ван Дейка и Сяо-Ли Мена. Неправильная мера находится над так называемым рабочим параметром , так что наблюдение производится маргиналом расширенного распределения а Ван Дайк и Мэн задают неправильный предшествующий для этого рабочего параметра чтобы ускорить моделирование (которое остается четко определенным как плотность вероятности) MCMC.f ( x | θ ) = ∫ T ( x aug ) = x f ( x aug | θ , α $\alpha$ p ( α ) α π ( θ | x

$$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$$ $p(\alpha)$$\alpha$$\pi(\theta|x)$

С другой стороны, в некоторой степени связанный с ответом eretmochelys , а именно с точки зрения байесовской теории принятия решений , установка, в которой (1) происходит, все еще может быть приемлемой, если она приводит к оптимальным решениям. А именно, если - это функция потерь, оценивающая влияние использования решения , оптимальное байесовское решение при предшествующем задается как и все, что имеет значение, это то, что этот интеграл не везде (в ) бесконечен. Является ли (1) верным для получения$L(\delta,\theta)\ge 0$$\delta$$\pi$

$$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$$ $\delta$$\delta^\star(x)$даже если такие свойства, как допустимость, гарантируются только при выполнении (1).

Заднее распределение не обязательно должно быть правильным, даже если предшествующее является правильным. Например, предположим, что имеет гамма-априор с формой 0.25 (что является правильным), и мы моделируем нашу точку отсчета как полученную из гауссовского распределения со средним нулем и дисперсией . Предположим, что наблюдается равным нулю. Тогда вероятность пропорциональна , что делает апостериорное распределение для несоответствующим, поскольку оно пропорционально . Эта проблема возникает из-за дурацкой природы непрерывных переменных.$v$$x$$v$$x$$p(x|v)$$v^{-0.5}$$v$$v^{-1.25} e^{-v}$

Определение набора мы имеем P r ( X ∈ фиктивные данные ) = ∫ фиктивные данные ∫ f ( x ∣ θ

$$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$$ Последний интеграл будет равен ∞, если мера Лебега фиктивных данных положительна. Но это невозможно, потому что этот интеграл дает вам вероятность (действительное число от 0 до 1 ). Отсюда следует, что мера Лебега фиктивных данных равна 0 , и, разумеется, также следует, что P r ( X ∈ Bogus Data ) = 0 . $$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$$ $\infty$$\text{Bogus Data}$$0$$1$$\text{Bogus Data}$$0$$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$

На словах: вероятность предшествующего прогнозирования тех значений выборки, которые делают апостериорный неправильный, равна нулю.

Мораль истории: остерегайтесь нулевых множеств, они могут кусаться, как бы невероятно это ни было.

PS Как отметил профессор Роберт в комментариях, это рассуждение разрушается, если предшествующее является неправильным.

Любое «распределение» должно суммироваться (или интегрироваться) в 1. Я могу привести несколько примеров, когда можно работать с ненормализованными дистрибутивами, но мне неудобно когда-либо называть что-либо, что ограничивает что-либо, кроме 1, «распределением».

$x$$d$

$$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$$

$P_D$$x$$\hat{x}$$P_{D|X}(d|x) P_X(x)$

$n$$Beta(0,0)$