Чем ABC и MCMC отличаются в своих приложениях?

Насколько я понимаю, приблизительные байесовские вычисления (ABC) и цепь Маркова Монте-Карло (MCMC) имеют очень похожие цели. Ниже я опишу свое понимание этих методов и то, как я воспринимаю различия в их применении к реальным данным.

Приближенное байесовское вычисление

ABC состоит из выборки параметра $\theta$ из предшествующего, посредством численного моделирования вычисляют статистику $x_i$ которая сравнивается с некоторыми наблюдаемыми $x_{obs}$ . На основе алгоритма отклонения $x_i$ либо сохраняется, либо отклоняется. Список сохраненных $x_i$ s сделал последующее распределение.

Марковская цепь Монте-Карло

MCMC состоит из выборки априорного распределения параметра $\theta$ . Для этого требуется первая выборка $\theta_1$ , вычислить $P(x_{obs} | \theta_1)P(\theta_1)$ и затем перейти (согласно некоторому правилу) к новому значению $\theta_2$ для которого $P(x_{obs} | \theta_2)P(\theta_2)$ вычисляется снова. Коэффициент $\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}$ рассчитывается, и в зависимости от некоторого порогового значения, следующий скачок произойдет из первой или второй позиции. Исследованиезначений$\theta$происходит один за другим, и, в конце концов, распределение сохраненныхзначений$\theta$является последним распределением$P(\theta | x)$(по причине, которая мне до сих пор неизвестна).

Я понимаю, что в моих объяснениях отсутствует представление о множестве методов, существующих в каждом из этих терминов (особенно для MCMC).

ABC против MCMC (плюсы и минусы)

Преимущество ABC заключается в том, что нет необходимости иметь аналитическое решение . Как таковая ABC удобна для сложной модели, где MCMC не сможет это сделать.$P(x | \theta)P(\theta)$

MCMC позволяет проводить статистические тесты (тест отношения правдоподобия, G-тест, ...), хотя я не думаю, что это возможно с ABC.

Я прав до сих пор?

Вопрос

• Чем ABC и MCMC отличаются в своих приложениях? Как решить использовать тот или иной метод?

Некоторые дополнительные комментарии к ответу Бьёрна:

1. ABC был впервые представлен Рубином (1984) как объяснение природы байесовского вывода, а не для вычислительных целей. В этой статье он объяснил, как распределение выборки и предшествующее распределение взаимодействуют, чтобы произвести апостериорное распределение.

2. ABC, однако, в первую очередь используется для вычислительных целей. Популяционные генетики придумали метод на древовидных моделях, где вероятность наблюдаемой выборки была неразрешимой. Схемы MCMC (Data Augmentation), которые были доступны в таких настройках, были ужасно неэффективными, и поэтому выборка по важности, даже с параметром одного измерения ... По своей сути, ABC заменяет методы Монте-Карло, такие как MCMC или PMC, когда они не доступны для всех практических целей. Когда они доступны, ABC отображается как прокси-сервер, который можно использовать для их калибровки, если он работает быстрее.

3. В более современной перспективе я лично рассматриваю ABC как метод приблизительного вывода, а не вычислительную технику. Строя приблизительную модель, можно сделать вывод об интересующем параметре, не обязательно полагаясь на точную модель. Хотя некоторая степень проверки необходима в этом параметре, она не менее достоверна, чем усреднение или непараметрика модели. Фактически, ABC можно рассматривать как особый тип непараметрической байесовской статистики.

4. Можно также показать, что (с шумом) ABC является совершенно четко определенным байесовским подходом, если заменить исходную модель и данные на зашумленную. Как таковая, она учитывает все байесовские выводы, о которых можно думать. Включая тестирование. Наш вклад в дискуссию о ABC и проверке гипотез заключается в том, что приблизительная модель, лежащая в основе ABC, может оказаться недостаточно приспособленной для оценки актуальности гипотезы с учетом данных, но не обязательно , что также хорошо, поскольку большинство применений ABC в популяции генетика связана с выбором модели.

5. В еще более поздней перспективе мы можем рассматривать ABC как байесовскую версию косвенного вывода, где параметры статистической модели связаны с моментами заранее определенной статистики. Если этой статистики достаточно (или достаточно в общепринятом смысле) для идентификации этих параметров, можно показать , что ABC сходится к истинному значению параметров с количеством наблюдений.

$P(x|\theta)$$\theta$смоделированные данные чаще всего (приблизительно) соответствуют наблюдаемым данным (с предложенными значениями, например, взятыми случайным образом из предыдущих). Для простых случаев, таких как одна биномиальная случайная переменная с не слишком большим размером выборки, вам даже может потребоваться точное совпадение, и в этих случаях действительно нет абсолютно ничего, что вы не могли бы сделать с этими задними выборками, которые вы не могли бы также сделать с стандартные образцы MCMC. Для более сложных ситуаций с непрерывными (даже для многомерных дискретных результатов) и потенциально многомерными исходами, требующих точного соответствия, больше невозможно.

На самом деле существуют MCMC-версии ABC, которые решают проблему, заключающуюся в том, что если у вас есть априор, который не очень похож на апостериорный (например, потому что априор очень малоинформативен), выборка с использованием априора крайне неэффективна, потому что вы очень редко будете получить точное соответствие между наблюдаемыми и смоделированными данными.

$P(x|\theta)$$P(x|\theta)$$P(x|\theta)$аналитически недоступен. Конечно, в таких случаях могут быть и другие возможные варианты (например, INLA, квадратичное приближение к вероятностям и т. Д.), Которые могут быть более эффективными / успешными для конкретных задач. В некотором смысле, любые ограничения в том, что вы можете делать с последующими выборками из ABC, исходят только из того, что вам требуется приблизительное совпадение между фактическими и смоделированными данными (если вам потребуется точное совпадение, проблем вообще не будет). Есть несколько хороших вступительных статей, например, Marin et al. (2012) . По крайней мере, один из соавторов (@ Xi'an) является активным автором здесь, и я тоже хотел бы поделиться с ним своими мыслями - я полагаю, что он мог бы сказать намного больше по теме тестирования.