Вариационный вывод на простом английском

Посмотрев видео на YouTube, я чувствую, что не могу точно определить, что такое вариационный вывод. Я могу следовать процедурам, пока смотрю видео лекции об этом. Но сложно определить, что на самом деле. Надеюсь услышать об этом.

Не на основании моих знаний, но вот статья (на довольно простом английском языке), которая, на мой взгляд, очень актуальна для вопроса: Blei, Kucukelbir & McAuliffe 2016. Вариационный вывод: обзор для статистиков . https://arxiv.org/abs/1601.00670

Из аннотации:

Одной из основных проблем современной статистики является аппроксимация трудно вычисляемых плотностей вероятностей. Эта проблема особенно важна в байесовской статистике, в которой все выводы о неизвестных величинах основаны на расчете с использованием апостериорной плотности. В этой статье мы рассмотрим вариационный вывод (VI), метод машинного обучения, который аппроксимирует плотности вероятности посредством оптимизации. VI использовался во многих приложениях и, как правило, работает быстрее, чем классические методы, такие как выборка по методу Маркова в цепочке Монте-Карло. Идея, лежащая в основе VI, состоит в том, чтобы сначала установить семейство плотностей, а затем найти члена этого семейства, который близок к цели, Близость измеряется дивергенцией Кульбака-Лейблера. Мы рассмотрим идеи, лежащие в основе вариационного вывода среднего поля, обсудим частный случай VI, примененного к моделям экспоненциальных семейств, представим полный пример с байесовской смесью гауссианов и выведем вариант, который использует стохастическую оптимизацию для масштабирования до массивных данных. Мы обсуждаем современные исследования в VI и выделяем важные открытые проблемы. VI мощный, но он еще не совсем понятен . Мы надеемся, что при написании этой статьи мы будем стимулировать статистические исследования этого класса алгоритмов.

Они также дают рекомендации относительно того, когда статистикам следует использовать выборку по методу Монте-Карло в цепочке Маркова и когда делается вариационный вывод (см. Пункт « Сравнение вариационного вывода и MCMC» в статье).