Могу ли я подвыбор большого набора данных на каждой итерации MCMC?

Проблема: я хочу выполнить выборку Гиббса, чтобы вывести некоторую апостериорную часть по большому набору данных. К сожалению, моя модель не очень проста, поэтому выборка слишком медленная. Я бы рассмотрел вариационные или параллельные подходы, но прежде чем идти так далеко ...

Вопрос: Я хотел бы знать, мог ли бы я случайно выбирать (с заменой) из моего набора данных на каждой итерации Гиббса, чтобы у меня было меньше экземпляров, чтобы учиться на каждом шаге.

Моя интуиция заключается в том, что даже если бы я изменил выборки, я бы не изменил плотность вероятности, и поэтому выборка Гиббса не должна замечать хитрости. Я прав? Есть ли упоминания о людях, которые сделали это?

— альберто
источник

Как отступление: другая идея состояла бы в том, чтобы сделать многократные анализы на случайных подвыборках большого набора данных. Таким образом, вы также можете перекрестной проверки.

— предположения

Я не могу ответить на ваш точный вопрос с какой-либо достоверностью (хотя я подозреваю, что вы просто увеличите ошибку аппроксимации, которая идет с Монте-Карло), печальная правда в том, что это просто неудачный аспект байесовского анализа MCMC: они вычислительно дорогой. @conjectures comment - отличная идея, но она не решает суть проблемы: слишком дорого рисовать все эти образцы для каждого человека. Я рекомендую написать свой собственный C-код для тяжелой работы (Rcpp в R, Cython в Python и т. Д.), А также распараллеливать (когда нет зависимостей ветвления).

@conjectures Это звучит как сумка маленьких бутстрапов Майкла Джордана.

— Джарадниеми

Я бы предложил изменить ваш сэмплер, чтобы вообще избежать скрытой переменной. У вас больше не будет сэмплера Гиббса, но алгоритм Метрополиса-Гастингса с предложением, основанным на нормальном приближении к вероятности, должен работать просто отлично. См. Раздел 16.4 2-го издания Байесовского анализа данных.

— Джарадниеми

Это область активных исследований, которую я не знаю достаточно хорошо, чтобы точно подвести итог для вас. См., Например, jmlr.org/proceedings/papers/v32/bardenet14.pdf и arxiv.org/pdf/1304.5299v4.pdf

— Эндрю М,

$X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

δ

$\delta$

δ

$\delta$

— niandra82
источник