Байесовские факторы с неподходящими априорами

У меня есть вопрос относительно сравнения моделей с использованием байесовских факторов. Во многих случаях статистики заинтересованы в использовании байесовского подхода с неподходящими априорами (например, с некоторыми априорами Джеффриса и эталонными априорами).

Мой вопрос заключается в том, что в тех случаях, когда апостериорное распределение параметров модели четко определено, допустимо ли сравнивать модели с использованием байесовских факторов при использовании неправильных априорных значений?

В качестве простого примера рассмотрим сравнение модели Normal с моделью Logistic с априорами Джеффриса.

bayesian model-selection prior

— Джеффри
источник

Неправильный априор играет роль «неинформативного априора». Если вы находитесь в перспективе «без предварительного убеждения», то, очевидно, вы не можете назначить предыдущую вероятность модели. Однако есть некоторые статьи Бергера и других авторов о понятии «внутренних байесовских факторов»; это звучит как фактор Байеса с неинформативными априорами, но я не могу сказать больше, потому что я никогда не читал эти статьи. Вероятно, существуют и другие методы «объективного выбора байесовской модели» (ввод этих терминов в Google дает несколько статей Бергера).

— Стефан Лоран

@ StéphaneLaurent Интерпретация априорных параметров отличается от априорной вероятности модели. Это видно из общего выражения для байесовского фактора. Вы также можете назначить модели одинаковые априорные значения, неподходящие перед параметрами, и посмотреть, что данные говорят вам апостериори .

— Джеффри

Я рекомендую прочитать Критерии выбора байесовской модели с приложением к выбору переменных (AoS, 2012), в частности лемму 1. В принципе, неправильные априорные значения не могут использоваться для необычных параметров.

Нет. Хотя неправильные априорные значения могут быть приемлемы для оценки параметров при определенных обстоятельствах (из-за теоремы Бернштейна – фон Мизеса ), они являются большими нет-нет для сравнения моделей из-за того, что известно как парадокс маргинализации .

$p_1(x \mid \theta)$ $p_1(\theta)$

п_{1} (Икс) знак равно \int_{Θ} п_{1} (Икс | θ) п_{1} (θ) d θ,

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

Некоторые авторы, в частности ET Jaynes, пытаются обойти это, определяя неправильные априоры как предел последовательности правильных априоров: тогда проблема в том, что могут быть две разные ограничивающие последовательности, которые затем дают разные ответы.

— Саймон Бирн
источник

Спасибо за ваш ответ. Вопрос о константах пропорциональности можно избежать, если использовать тот же неподходящий априор для общих параметров, таких как параметры местоположения и масштаба, как упомянуто в «Байесовском выборе», с. 349. Если я правильно понимаю, парадокс маргинализации применим только к априорным элементам с определенная структура.

— Джеффри

Проблема будет в том, что нереальные случаи будут доминировать: если у вас есть единообразный априор по параметру вашего местоположения, вы будете помещать 100-кратный вес на интервал [100,200], как вы бы сделали на [0,1] (что может показаться нелепым в некоторые обстоятельства).

— Саймон Бирн

Но дело в том, что неправильные априорные значения нельзя интерпретировать в вероятностных терминах. Не существует такого веса, учитывая, что вероятностная интерпретация априора исчезла, поскольку она является ненадлежащей.

— Джеффри

Это не вероятностный, но все же показатель, так что вы можете сделать относительные сравнения (т.е. в 100 раз «масса» на интервале [100,200], как и на [0,1]).

— Саймон Бирн

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$