Почему необходимо выбирать из апостериорного распределения, если мы уже ЗНАЕМ апостериорное распределение?

Насколько я понимаю, при использовании байесовского подхода для оценки значений параметров:

Апостериорное распределение представляет собой комбинацию предшествующего распределения и распределения правдоподобия.
Мы моделируем это, генерируя выборку из апостериорного распределения (например, используя алгоритм Метрополиса-Хастинга для генерации значений и принимаем их, если они превышают определенный порог вероятности принадлежности к апостериорному распределению).
После того, как мы сгенерировали этот образец, мы используем его для аппроксимации апостериорного распределения и таких вещей, как его среднее значение.

Но я чувствую, что должен что-то неправильно понять. Похоже, у нас есть апостериорное распределение, а затем выборка из него, а затем мы используем эту выборку в качестве аппроксимации апостериорного распределения. Но если у нас есть апостериорное распределение для начала, почему мы должны брать из него выборку, чтобы приблизить его?

— Дейв
источник

Ответы:

Этот вопрос, вероятно, уже обсуждался на этом форуме.

$\theta$

π (θ | x) \propto π (θ) \times f (x | θ)

$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$

π (θ | x) \propto \exp {- | | θ - x | |^{2} - | | θ + x | |^{4} - | | θ - 2 x | |^{6}}, x, θ \in R^{18},

$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$

$\theta$ $\mathbb{E}[\mathfrak{h}(\theta)|x]$
оптимальное решение при произвольной функции полезности, решение, которое минимизирует ожидаемые последующие потери;
${h = h (θ); π^{h} (h) \geq \underline{h}}$ $\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$
наиболее вероятная модель выбора между установкой некоторых компонентов параметра (ов) к определенным значениям и сохранением их неизвестными (и случайными).

Это только примеры многих применений апостериорного распределения. Во всех случаях, кроме самых простых, я не могу дать ответы, рассматривая апостериорную плотность распределения, и мне действительно необходимо пройти через числовые решения, такие как методы Монте-Карло и Маркова с цепочкой Монте-Карло.

— Сиань
источник

Большое спасибо за ответ Сиань. Я уверен, что это отвечает на мой вопрос, но мне все еще трудно понять его. Прав ли я, что у нас есть функция плотности вероятности, соответствующая апостериорной (т. Е. Путем объединения априорной и вероятностной)? Почему мы не можем найти 95% ДИ непосредственно из этого, а не из выборочного апостериорного распределения?

— Дейв

@ Дэйв, я думаю, что ключом здесь является то, что вы подразумеваете под словом «иметь». В общем случае у вас не будет закрытого решения формы, поэтому у вас не будет «полезной» функции.

— монах

@monk спасибо за ответ! Вы не возражаете против того, что дает решение для закрытой формы?

— Дэйв

Предположим, ваш предшествующий уровень - бета (a, b), а вероятность - биномиальная (n, p). Как вы рассчитываете ожидаемое значение вашего апостериорного? Попробуйте выработать интегральную часть этого продукта с ручкой и бумагой. В общем, такой интеграл будет чем-то, что требует от компьютера точного значения. В качестве альтернативы вы можете обнаружить, что бета-сопряжение сопряжено до биномиального, и, следовательно, последним будет бета-версия (с легко вычисляемыми параметрами). Но часто вам не так повезет. Привязать определение «закрытой формы» сложно, и о нем стоит прочитать самостоятельно.

— монах

Да, у вас может быть аналитическое апостериорное распределение. Но ядром байесовского анализа является маргинализация по заднему распределению параметров, чтобы вы могли получить лучший результат прогнозирования как с точки зрения точности, так и с точки зрения возможности обобщения. По сути, вы хотите получить прогнозное распределение, которое имеет следующую форму.

$p(x|D)=\int p(x|w) p(w|D)dw$

$p(w|D)$ $p(w|D)$ $p(x|w)$

— Карлссон Ю
источник