Регуляризованная байесовская логистическая регрессия в JAGS

Есть несколько математических работ, описывающих байесовское лассо, но я хочу протестировать правильный код JAGS, который я могу использовать.

Может ли кто-нибудь опубликовать пример кода BUGS / JAGS, который реализует регуляризованную логистическую регрессию? Любая схема (L1, L2, Elasticnet) была бы отличной, но Лассо предпочтительнее. Мне также интересно, есть ли интересные альтернативные стратегии реализации.

Поскольку регуляризация L1 эквивалентна Лапласу (двойная экспонента) перед соответствующими коэффициентами, вы можете сделать это следующим образом. Здесь у меня есть три независимые переменные x1, x2 и x3, а y - двоичная целевая переменная. Выбор параметра регуляризации выполняется здесь путем наложения на него гиперприора, в данном случае просто равномерного по диапазону большого размера.$\lambda$

model {
  # Likelihood
  for (i in 1:N) {
    y[i] ~ dbern(p[i])

    logit(p[i]) <- b0 + b[1]*x1[i] + b[2]*x2[i] + b[3]*x3[i]
  }

  # Prior on constant term
  b0 ~ dnorm(0,0.1)

  # L1 regularization == a Laplace (double exponential) prior 
  for (j in 1:3) {
    b[j] ~ ddexp(0, lambda)  
  }

  lambda ~ dunif(0.001,10)
  # Alternatively, specify lambda via lambda <- 1 or some such
}

Давайте попробуем это с помощью dcloneпакета в R!

library(dclone)

x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)

prob <- exp(x1+x2+x3) / (1+exp(x1+x2+x3))
y <- rbinom(100, 1, prob)

data.list <- list(
  y = y,
  x1 = x1, x2 = x2, x3 = x3,
  N = length(y)
)

params = c("b0", "b", "lambda")

temp <- jags.fit(data.list, 
                 params=params, 
                 model="modela.jags",
                 n.chains=3, 
                 n.adapt=1000, 
                 n.update=1000, 
                 thin=10, 
                 n.iter=10000)

И вот результаты, по сравнению с нерегулярной логистической регрессией:

> summary(temp)

<< blah, blah, blah >> 

1. Empirical mean and standard deviation for each variable,
   plus standard error of the mean:

          Mean     SD Naive SE Time-series SE
b[1]   1.21064 0.3279 0.005987       0.005641
b[2]   0.64730 0.3192 0.005827       0.006014
b[3]   1.25340 0.3217 0.005873       0.006357
b0     0.03313 0.2497 0.004558       0.005580
lambda 1.34334 0.7851 0.014333       0.014999

2. Quantiles for each variable: << deleted to save space >>

> summary(glm(y~x1+x2+x3, family="binomial"))

  << blah, blah, blah >>

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  0.02784    0.25832   0.108   0.9142    
x1           1.34955    0.32845   4.109 3.98e-05 ***
x2           0.78031    0.32191   2.424   0.0154 *  
x3           1.39065    0.32863   4.232 2.32e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

<< more stuff deleted to save space >>

И мы можем видеть, что три bпараметра действительно сузились до нуля.

Извините, я не знаю много о априорах для гиперпараметра распределения Лапласа / параметра регуляризации. Я склонен использовать равномерное распределение и смотреть на заднюю часть, чтобы увидеть, выглядит ли он достаточно хорошо, например, не накапливается ли близко к конечной точке и в значительной степени достигает пика в середине без ужасных проблем асимметрии. Пока, как правило, так и было. Работа с ним как с параметром дисперсии и использование рекомендации (й) Гельмана. Приоритетные распределения для параметров дисперсии в иерархических моделях также работают для меня.