Что означает «вариационный»?


12

Всегда ли использование «вариационного» относится к оптимизации через вариационный вывод?

Примеры:

  • «Вариационный автокодер»
  • «Вариационные байесовские методы»
  • "Вариационная перенормировочная группа"

Для понимания VAE вы также можете обратиться к хорошим видео на YouTube здесь и здесь . Они ответили на все вопросы, которые у меня были к теме.
Андре

Ответы:


9

Это означает использование вариационного вывода (по крайней мере, для первых двух).

Короче говоря, это метод для аппроксимации максимальной вероятности, когда плотность вероятности сложна (и, следовательно, MLE сложен).

Он использует Evidence Lower Bound (ELBO) в качестве прокси для ML:

log(p(x))Eq[log(p,Z)]Eq[log(q(Z))]

Где - более простое распределение по скрытым переменным (обозначается как ) - например, вариационные автоэнкодеры используют нормальное распределение на выходе энкодера.qZ

Название «вариационный» происходит, скорее всего, из-за того, что он ищет распределение которое оптимизирует ELBO, и эта установка похожа на вариационное исчисление , область, которая изучает оптимизацию по функциям (например, такие проблемы, как: заданная семья кривых в 2D между двумя точками, найдите одну с наименьшей длиной).q

Есть хороший урок по вариационному выводу Дэвида Блея, который вы можете проверить, если хотите получить более конкретное описание.

РЕДАКТИРОВАТЬ:

На самом деле то, что я описал, - это один тип ВП: в общем, вы можете использовать различную дивергенцию (описанная мной соответствует использованию дивергенции ). Подробнее см. Эту статью , раздел 5.2 (VI с альтернативными расхождениями).KL(q,p)

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.