Байесовская регрессия: как это делается по сравнению со стандартной регрессией?

У меня есть несколько вопросов о байесовской регрессии:

Дана стандартная регрессия при . Если я хочу изменить это в байесовскую регрессию, нужно ли мне предварительные распределения для и (или это не работает таким образом)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
В стандартной регрессии можно попытаться минимизировать невязки, чтобы получить единичные значения для и . Как это делается в байесовской регрессии? $\beta_0$ $\beta_1$

Я действительно много борюсь здесь:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Вероятность исходит из текущего набора данных (так что это мой параметр регрессии, но не как одно значение, а как распределение вероятностей, верно?). Приор происходит из предыдущего исследования (скажем). Итак, я получил это уравнение:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

с - моя вероятность или апостериор (или это просто неправильно)? $\beta_1$

Я просто не могу понять, как стандартная регрессия превращается в байесовскую.

regression bayesian

— TinglTanglBob
источник

Ответы:

Простая модель линейной регрессии

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

может быть написано с точки зрения вероятностной модели позади него

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

то есть зависимая переменная следует нормальному распределению, параметризованному средним , то есть линейной функции параметризованной и стандартным отклонением . Если вы оцениваете такую модель, используя обычные наименьшие квадраты , вам не нужно беспокоиться о вероятностной формулировке, потому что вы ищете оптимальные значения параметров , сводя к минимуму возведенные в квадрат ошибки согласованных значений до прогнозируемых значений. С другой стороны, вы могли бы оценить такую модель, используя оценку максимального правдоподобия $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ где вы будете искать оптимальные значения параметров путем максимизации функции правдоподобия

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

$\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

В байесовском подходе вместо максимизации только функции правдоподобия мы принимаем предварительные распределения для параметров и используем теорему Байеса.

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

$\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

$\alpha,\beta$ $t$ $\sigma$

(источник: http://www.indiana.edu/~kruschke/BMLR/ )

В то время как с максимальной вероятностью вы искали одно оптимальное значение для каждого из параметров, в байесовском подходе, применяя теорему Байеса, вы получаете апостериорное распределение параметров. Окончательная оценка будет зависеть от информации, полученной из ваших данных и ваших априоров , но чем больше информации содержится в ваших данных, тем менее влиятельными являются априоры .

$f(\theta) \propto 1$

Для оценки модели в байесовском подходе в некоторых случаях вы можете использовать сопряженные априорные значения , поэтому апостериорное распределение непосредственно доступно (см. Пример здесь ). Однако в подавляющем большинстве случаев апостериорное распределение не будет доступно напрямую, и вам придется использовать методы Марковской цепи Монте-Карло для оценки модели (см. Этот пример использования алгоритма Метрополиса-Гастингса для оценки параметров линейной регрессии). Наконец, если вас интересуют только точечные оценки параметров, вы можете использовать максимально апостериорную оценку , т.е.

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Для более подробного описания логистической регрессии вы можете проверить байесовскую модель логита - интуитивное объяснение? нить.

Для получения дополнительной информации вы можете проверить следующие книги:

Kruschke, J. (2014). Выполнение байесовского анализа данных: учебное пособие с использованием R, JAGS и Stan. Академическая пресса.

Гельман А., Карлин Дж. Б., Стерн Х.С. и Рубин Д.Б. (2004). Байесовский анализ данных. Чепмен и Холл / CRC.

— Тим
источник

$\beta_i$ $\beta_i$

+1. Еще одна вещь, на которую стоит обратить внимание, чтобы прояснить связь между байесовским и OLS-подходами, состоит в том, что OLS можно понимать как апостериорное среднее под плоским априором (по крайней мере, насколько я понимаю). Было бы здорово, если бы вы немного уточнили это в своем ответе.

— говорит амеба: восстанови Монику

@amoeba, это хороший момент, я подумаю об этом. Но с другой стороны, я не хочу, чтобы ответ был слишком длинным, поэтому есть смысл вдаваться в детали.

— Тим

@amoeba FYI, я добавил краткий комментарий по этому поводу.

— Тим

$D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

$Y_i \perp Y_j | w, i \neq j$

$a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

$y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

После многих расчетов мы обнаруживаем, что

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

Для прогнозирующего апостериорного распределения:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

можно рассчитать, что

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Ссылка: Lunn et al. Книга ЖУКОВ

Для использования инструмента MCMC, такого как JAGS / Stan, проверьте анализ данных Крушке « Байесовский анализ данных»

— jpneto
источник

Спасибо, jpneto. Я чувствую, что это отличный ответ, но я пока не понимаю его из-за недостатка знаний по математике. Но я обязательно прочту это снова после получения некоторых математических навыков

— TinglTanglBob

Это очень хорошо, но предположение, что точность известна, немного необычно. Разве не более распространено предположение, что для дисперсии используется обратное гамма-распределение, т. Е. Гамма-распределение для точности?

— DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@DeltaIV: конечно, когда у нас есть неопределенность в отношении параметра, мы можем смоделировать его с помощью априора. Предположение об известной точности состоит в том, чтобы упростить поиск аналитического решения. Обычно эти аналитические решения не возможны, и мы должны использовать приближения, такие как MCMC или некоторый вариационный метод.

— января