Вопросы с тегом «variational-bayes»

Как работает трюк репараметризации для вариационных автоэнкодеров (VAE)? Есть ли интуитивное и простое объяснение без упрощения математики? И зачем нам «трюк»?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Я думаю, что я получил общее представление о VI и MCMC, включая различные разновидности MCMC, такие как выборка Гиббса, Metropolis Hastings и т. Д. Эта статья представляет собой прекрасное изложение обоих методов. У меня есть следующие вопросы: Если я хочу сделать байесовский вывод, почему я выбрал бы один метод вместо …

37 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Я где-то читал, что вариационный метод Байеса является обобщением алгоритма EM. Действительно, итерационные части алгоритмов очень похожи. Чтобы проверить, является ли алгоритм EM специальной версией Вариационного Байеса, я попробовал следующее: YYY - данные, - коллекция скрытых переменных, а - параметры. В вариационном байесовском преобразовании мы можем сделать такое приближение, что …

26 bayesian  expectation-maximization  variational-bayes 

почти во всех примерах кода, которые я видел в VAE, функции потерь определяются следующим образом (это код с тензорным потоком, но я видел похожее для theano, torch и т. д. Это также для коннета, но это также не слишком актуально) , только влияет на оси, суммы принимаются): # latent space …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Согласно этому и этому ответу, автоэнкодеры кажутся техникой, которая использует нейронные сети для уменьшения размеров. Я хотел бы дополнительно знать, что такое вариационный автоэнкодер (его основные отличия / преимущества по сравнению с «традиционными» автоэнкодерами), а также каковы основные задачи обучения, для которых используются эти алгоритмы.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Я понимаю основную структуру вариационного автоэнкодера и нормального (детерминированного) автоэнкодера и математическую схему, стоящую за ними, но когда и почему я предпочел бы один тип автоэнкодера другому? Все, о чем я могу думать, - это предварительное распределение скрытых переменных вариационного автоэнкодера, которое позволяет нам выбирать скрытые переменные и затем создавать …

19 deep-learning  autoencoders  variational-bayes 

Я изучаю этот урок по вариационным автоэнкодерам Карла Доерша . На второй странице говорится: Одним из наиболее популярных таких фреймворков является Variational Autoencoder [1, 3], предмет данного руководства. Предположения этой модели являются слабыми, и обучение происходит быстро с помощью обратного распространения. VAE действительно делают приближение, но ошибка, вносимая этим приближением, …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Я читаю о байесовском умозаключении и натолкнулся на фразу «численная интеграция предельной вероятности слишком дорога» У меня нет опыта в математике, и мне было интересно, что именно здесь означает дорогой ? Это просто с точки зрения вычислительной мощности или есть что-то большее.

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

По моему (очень скромному) пониманию вариационного вывода, каждый пытается приблизить неизвестное распределение , найдя распределение q, которое оптимизирует следующее:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Всякий раз, когда я вкладываю время в понимание вариационного вывода, я продолжаю придерживаться этой формулы и не могу не чувствовать, что упускаю суть. Кажется, …

12 variational-bayes 

В чем разница между авто-кодированием вариационного байесовского алгоритма и стохастическим обратным распространением для моделей с глубокой генерацией ? Приводит ли вывод в обоих методах к тем же результатам? Я не знаю каких-либо явных сравнений между этими двумя методами, несмотря на то, что обе группы авторов цитируют друг друга.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Я внедрял VAE и заметил в Интернете две разные реализации упрощенной однофакторной гауссовой дивергенции KL. Исходная дивергенция, здесь, выглядит следующим образом: Если мы предположим, что наша единица является т.е. и \ sigma_2 = 1 , это упрощается до KL_ {loss} = - \ log (\ sigma_1) + \ frac {\ …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Я читаю вариационный байесовский алгоритм, и, насколько я понимаю, все сводится к мысли, что вы приближаете (где z - скрытые переменные вашей модели и x наблюдаемые данные) с функцией q ( z ) , делая предположение, что q факторизуется как q i ( z i ), где z i является …

10 variational-bayes 

Я работаю над проблемой многомерного вывода (около 2000 параметров модели), для которой мы можем надежно выполнить оценку MAP, найдя глобальный максимум логарифмического аппроксимации, используя комбинацию градиентной оптимизации и генетического алгоритма. Я очень хотел бы иметь возможность сделать некоторую оценку неопределенности параметров модели в дополнение к нахождению оценки MAP. Мы можем …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Я пытаюсь реализовать модель гауссовой смеси со стохастическим вариационным выводом, следуя этой статье . Это программа гауссовой смеси. Согласно статье, полный алгоритм стохастического вариационного вывода: И я все еще очень запутался в методе масштабирования до GMM. Во-первых, я думал, что локальный вариационный параметр - это просто а все остальные - …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes