Для подробного ответа смотрите Блей, Кукукельбир и Маколифф здесь . Этот короткий ответ в значительной степени вытекает из этого.
- MCMC асимптотически точен; VI нет . В пределе MCMC будет точно приближаться к целевому распределению. VI поставляется без гарантии.
- MCMC вычислительно дорог . В общем, VI быстрее.
То есть, когда у нас есть время для вычисления и оценки точности наших оценок, MCMC побеждает. Если мы можем смириться с тем, чтобы пожертвовать этим ради целесообразности - или мы работаем с такими большими данными, что мы должны сделать компромисс - VI - это естественный выбор.
Или, как более красноречиво и подробно описано авторами, упомянутыми выше:
Таким образом, вариационный вывод подходит для больших наборов данных и сценариев, где мы хотим быстро изучить множество моделей; MCMC подходит для небольших наборов данных и сценариев, в которых мы с радостью платим более высокие вычислительные затраты за более точные выборки. Например, мы могли бы использовать MCMC в условиях, когда мы потратили 20 лет на сбор небольшого, но дорогого набора данных, где мы уверены, что наша модель подходит и где нам требуются точные выводы. Мы можем использовать вариационный вывод при подборе вероятностной модели текста для одного миллиарда текстовых документов и в тех случаях, когда эти выводы будут использоваться для предоставления результатов поиска большому количеству пользователей. В этом сценарии мы можем использовать распределенные вычисления и стохастическую оптимизацию для масштабирования и ускорения вывода, и мы можем легко исследовать множество различных моделей данных.