Пример для априора, который в отличие от Джеффриса приводит к апостериорному, который не является инвариантным

Я публикую «ответ» на вопрос, который я задал здесь две недели назад: почему полезен Джефрис? Это действительно был вопрос (и я тоже не имел права публиковать комментарии в то время), поэтому я надеюсь, что это нормально:

В приведенной выше ссылке обсуждается, что интересная особенность априорной теории Джеффриса состоит в том, что при повторной параметризации модели результирующее апостериорное распределение дает апостериорные вероятности, которые подчиняются ограничениям, налагаемым преобразованием. Скажем, как описано там, при переходе от вероятности успеха & $\theta$ в примере бета-Бернулли шансов $\psi=\theta/(1-\theta)$ , это должно быть так , что задняя удовлетворяет условию $P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$ .

Я хотел создать числовой пример инвариантности Джеффриса для преобразования $\theta$ в шансы $\psi$ и, что более интересно, отсутствие других априорных значений (скажем, Haldane, одинаковых или произвольных).

Теперь, если апостериор для вероятности успеха - бета (для любой предыдущей беты, а не только для Джеффриса), апостериор шансов следует бета-распределению второго рода (см. Википедия) с теми же параметрами . Затем, как показано в приведенном ниже числовом примере, неудивительно (по крайней мере для меня), что существует инвариантность для любого выбора бета-версии (игра с alpha0_Uи beta0_U), а не только для Джеффриса, ср. вывод программы.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Это подводит меня к следующим вопросам:

1. Я делаю ошибку?
2. Если нет, то есть ли такой результат, как отсутствие недостатка инвариантности в сопряженных семьях или что-то в этом роде? (Быстрая проверка заставляет меня заподозрить, что я, например, не смог бы обеспечить отсутствие инвариантности в нормальном нормальном случае.)
3. Вы знаете (предпочтительно простой) пример , в котором мы сделать получаем отсутствие инвариантности?

Ваши вычисления, кажется, подтверждают, что, когда у нас есть конкретное предварительное распределение следующие две процедуры$p(\theta)$

1. Вычислить апостериорное $p_{\theta \mid D}(\theta \mid D)$
2. Преобразуйте вышеупомянутый апостериор в другую параметризацию, чтобы получить $p_{\psi \mid D}(\psi \mid D)$

и

1. $p_\theta(\theta)$$p_\psi(\psi)$
2. $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$

Однако дело не в этой инвариантности. Вместо этого вопрос заключается в том, будут ли следующие две процедуры, когда у нас есть конкретный метод для решения предшествующего вопроса:

1. $p_\theta(\theta)$
2. $p_\psi(\psi)$

и

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

Похоже, вы проверяете, что на вероятность, вызванную данными, не влияет параметризация, которая не имеет ничего общего с предыдущей.

Если вы выбираете приоры следующим образом, например, «выберите единый априор», то то, что является однородным при одной параметризации (скажем, бета, то есть бета (1,1)), не является равномерным при другой, скажем, BetaPrime (1,1 ) (что искажено) - это BetaPrime (1, -1) является однородным, если такая вещь существует.

Приоритет Джеффриса - единственный «способ выбрать приоры», который инвариантен при репараметризации. Так что это менее предположительно, чем любой другой способ выбора приоры.