В моделях Normal и Binomial всегда задняя дисперсия меньше предыдущей дисперсии?

10

Или какие условия это гарантируют? В целом (и не только для нормальных и биномиальных моделей) я полагаю, что главная причина, которая нарушила это утверждение, состоит в том, что существует несоответствие между моделью выборки и предыдущей, но что еще? Я начинаю с этой темы, поэтому я очень ценю простые примеры

bayesian variance information-theory

— Красный шум
источник

9

Поскольку апостериорная и априорная дисперсии на удовлетворяют (причем обозначает выборку) предполагая, что все величины существуют, можно ожидать, что апостериорные дисперсия должна быть меньше в среднем (в ). Это, в частности, тот случай, когда задняя дисперсия постоянна по $\theta$ $X$

вар (θ) знак равно Е [вар (θ | Икс)] + вар (Е [θ | Икс])

$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$

X

$X$

X

$X$ , Но, как показывает другой ответ, могут быть реализации задней дисперсии, которые больше, так как результат остается только в ожидании.

По словам Эндрю Гельмана,

Мы рассмотрим это в главе 2 « Байесовского анализа данных» , я думаю, в паре проблем с домашней работой. Короткий ответ заключается в том, что, как ожидается, дисперсия апостериорных уменьшается по мере получения дополнительной информации, но, в зависимости от модели, в отдельных случаях дисперсия может увеличиваться. Для некоторых моделей, таких как нормальная и биномиальная, задняя дисперсия может только уменьшаться. Но рассмотрим t-модель с низкими степенями свободы (которую можно интерпретировать как смесь нормалей с общим средним и различными дисперсиями). Если вы наблюдаете экстремальное значение, это свидетельствует о том, что дисперсия высока, и ваша задняя дисперсия действительно может возрасти.

— Сиань
источник

@ Сиань, не могли бы вы взглянуть на мой «ответ», который, кажется, противоречит вашему? Если Гельман и вы скажете что-нибудь о байесовской статистике, я гораздо больше склонен доверять вам, чем себе ...

— Кристоф Ханк

1

Нет конфликта между нашими ответами. В BDA есть даже упражнение, которое соответствует вашему примеру, то есть найти данные, которые устанавливают, что задняя дисперсия бета больше, чем предыдущая дисперсия.

— Сиань

Интересным последующим вопросом будет: каковы условия, которые гарантируют сходимость дисперсии к 0 при увеличении размера выборки.

— Жюльен

8

Это будет больше вопрос к @ Сиань, чем ответ.

В (θ | Y) знак равно \frac{α_{1} β_{1}}{(α_{1} + β_{1})^{2} (α_{1} + β_{1} + 1)} знак равно \frac{(α_{0} + К) (N - К + β_{0})}{(α_{0} + N + β_{0})^{2} (α_{0} + N + β_{0} + 1)},

$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$

n

$n$

k

$k$

α_{0}, β_{0}

$\alpha_{0},\beta_0$

В (θ) знак равно \frac{α_{0} β_{0}}{(α_{0} + β_{0})^{2} (α_{0} + β_{0} + 1)}

$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Следовательно, этот пример предлагает большую апостериорную дисперсию в биномиальной модели.

Конечно, это не ожидаемая задняя дисперсия. В этом ли несоответствие?

Соответствующий показатель

— Кристоф Ханк
источник

4

Прекрасная иллюстрация. И нет никакого различия между фактами, что реализованная апостериорная дисперсия больше, чем предыдущая дисперсия, и что ожидание меньше.

— Сиань

1

Я предоставил ссылку на этот ответ как отличный пример того, что также обсуждалось здесь. Этот результат (эта разница иногда увеличивается при сборе данных) распространяется на энтропию.

— Дон Словик