Показатели приемки для Метрополис-Гастингс с равномерным распределением кандидатов

При использовании алгоритма Метрополис-Гастингс с равномерным распределением кандидатов, какова причина того, что показатели приемлемости составляют около 20%?

Мое мышление таково: если истинные (или близкие к истинным) значения параметров обнаружены, то новый набор значений параметров-кандидатов из одного и того же равномерного интервала не увеличит значение функции правдоподобия. Поэтому, чем больше итераций я выполняю, тем ниже должны быть принятые нормы.

Где я ошибаюсь в этом мышлении? Большое спасибо!

Вот иллюстрация моих расчетов:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

где - логарифмическая вероятность$l$

Поскольку кандидаты всегда берутся из одного и того же равномерного интервала,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Поэтому расчет коэффициента приемки сокращается до:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

Правило принятия будет следующим:$\theta_c$

Если , где из равномерного распределения в интервале , то$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

иначе из равномерного распределения в интервале$\theta_c$$[\theta_{min}, \theta_{max}]$

Я считаю, что слабая сходимость и оптимальное масштабирование алгоритмов Метрополиса случайного блуждания по Робертсу, Гельману и Гилксу являются источником оптимального коэффициента приемлемости 0,234.

В статье показано, что при определенных допущениях вы можете масштабировать алгоритм Метрополиса-Гастингса случайного блуждания по мере того, как размерность пространства стремится к бесконечности, чтобы получить предельную диффузию для каждой координаты. В пределе диффузия может рассматриваться как «наиболее эффективная», если коэффициент приема принимает значение 0,234. Интуитивно понятно, что это компромисс между принятием множества небольших принятых шагов и внесением множества крупных предложений, которые отклоняются.

Алгоритм Метрополис-Гастингс на самом деле не является алгоритмом оптимизации, в отличие от имитации отжига. Это алгоритм, который должен симулироваться из целевого распределения, поэтому вероятность принятия не должна стремиться к 0.

Просто чтобы добавить к ответу @NRH. Общая идея следует принципу Златовласки :

• Если скачки «слишком велики», то цепь залипает;
• Если скачки «слишком малы», то цепочка исследует пространство параметров очень медленно;
• Мы хотим, чтобы прыжки были правильными.

Конечно, вопрос в том, что мы подразумеваем под «просто правильно». По существу, для конкретного случая они минимизируют ожидаемое квадратное расстояние прыжка. Это эквивалентно минимизации автокорреляции лаг-1. Недавно Шерлок и Робертс показали, что магия 0.234 справедлива для других целевых распределений:

C. Шерлок, Дж. Робертс (2009); Оптимальное масштабирование случайного блуждания Метрополис по эллиптически симметричным унимодальным целям ; Бернулли 15 (3)

Я добавляю это как ответ, потому что у меня недостаточно репутации для комментариев по этому вопросу. Я думаю , что вы запутались между скоростью приема и отношением приема .

1. Коэффициент принятия используется, чтобы решить, принять или отклонить кандидата. Коэффициент, который вы называете коэффициентом приемки, фактически называется коэффициентом приемки, и он отличается от коэффициента приемки.
2. Коэффициент принятия - это показатель приема кандидатов. Это отношение количества уникальных значений в цепочке MCMC к общему количеству значений в цепочке MCMC.

Теперь ваше сомнение в том, что оптимальная ставка приемлемости составляет 20%, на самом деле относится к реальной скорости принятия, а не к коэффициенту приемлемости. Ответ дан в других ответах. Я просто хотел указать на вашу путаницу.