Зачем использовать бета-распределение по параметру Бернулли для иерархической логистической регрессии?

В настоящее время я читаю превосходную книгу Крушке «Анализ байесовских данных». Однако глава об иерархической логистической регрессии (глава 20) несколько сбивает с толку.

Рисунок 20.2 описывает иерархическую логистическую регрессию, где параметр Бернулли определяется как линейная функция на коэффициентах, преобразованных через сигмовидную функцию. Похоже, именно таким образом иерархическая логистическая регрессия представлена в большинстве примеров, которые я видел и в других источниках в Интернете. Например - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Однако, когда предикторы являются номинальными, он добавляет слой в иерархию - теперь параметр Бернулли взят из бета-распределения (рис. 20.5) с параметрами, определенными mu и kappa, где mu - сигмоидальное преобразование линейной функции коэффициентов. , а каппа использует гамму априора.

Это кажется разумным и аналогичным примеру с бросанием монет из главы 9, но я не вижу, что делать с номинальными предикторами при добавлении бета-распределения. Почему бы не сделать это в случае метрических предикторов и почему было добавлено бета-распределение для номинальных предикторов?

РЕДАКТИРОВАТЬ: Разъяснение по моделям, я имею в виду. Во-первых, модель логистической регрессии с метрическими предикторами (без бета-версии). Это похоже на другие примеры иерархической логистической регрессии, такие как пример ошибок:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Тогда пример с номинальными предикторами. Вот где я не совсем понимаю роль «нижнего» уровня иерархии (включение логистического результата в бета-версию до бинома) и почему она должна отличаться от метрического примера.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
источник

Ответы:

Две модели, которые вы сравниваете, имеют много посторонних функций, и я думаю, что вы можете сформулировать свой вопрос более четко в контексте следующих двух упрощенных моделей:

Модель 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Модель 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Ваши вопросы: (1) какую роль играет бета-дистрибутив; и связанные, (2) как (если вообще) модель 2 отличается от модели 1?

На первый взгляд это довольно разные модели, но на самом деле предельные распределения в обеих моделях идентичны. Апостериорное распределение в модели 1: тогда как маргинальное заднее распределение в модели 2: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

Таким образом, любое преимущество, полученное от использования Модели 2, является вычислительным. Чрезмерная параметризация иерархических моделей, таких как добавление в Модель 2, иногда может повысить эффективность процедуры выборки; например, путем введения условно-сопряженных отношений между группами параметров (см. ответ Джека Таннера) или путем нарушения корреляции между интересующими параметрами (Google «Расширение параметров»). $\theta_i$

— jmtroos
источник

Причина получения параметра Бернулли из бета-распределения состоит в том, что бета сопряжена с биномом. Использование сопряженного предварительного распределения позволяет найти решение в задней части в закрытом виде.

РЕДАКТИРОВАТЬ: уточнение. Любая модель будет работать. Даже с MCMC полезно иметь сопряженные априоры, поскольку это позволяет использовать специализированные сэмплеры для различных типов распределений, которые более эффективны, чем универсальные сэмплеры. Например, см. Руководство пользователя JAGS с. 4.1.1 и с 4.2.

— Джек Таннер
источник

В моем вопросе может быть недостаточно контекста из книги, но эти анализы выполняются с использованием выборки Гиббса, поэтому представление задней части в закрытой форме не требуется. В приведенном мною примере параметр Бернулли не фиксируется как бета-распределение, а возникает в результате сигмовидного преобразования линейных предикторов, которые имеют нормально распределенные коэффициенты. Так же и в этой главе Крушке представляет более ранний пример (с метрическими предикторами) (параметр Бернулли - это просто сигмовидное преобразование линейной функции с нормально распределенными коэффициентами)

— user4733

@ user4733 Джек Таннер прав в том, что бета является конъюгатом до образцов Бернулли. кажется, что это не просто совпадение, что он был выбран. Да, вы можете делать выборку Гиббса, чтобы получить апостериорное распределение, но в иерархической модели задействовано более одного априора, и может случиться так, что вы устанавливаете априор на гиперпараметр (параметр для семейства априорных распределений. перед на предшествующее , если вы будете в этом контексте может быть удобно использовать конъюгат до некоторых из вашего описания книги путает нам...

— Майкл Р. Chernick

Вы берете небольшие выдержки, которые создают пробелы в нашей способности понять, что происходит. Вам нужно описать модель и иерархию приоров, чтобы мы лучше помогли (по крайней мере, мне)>

— Майкл Р. Черник

Добавлены некоторые описания к иерархическим моделям, на которые я ссылаюсь. Надеюсь, это поможет.

— user4733