К.Л. Потеря с единицей Гаусса

10

Я внедрял VAE и заметил в Интернете две разные реализации упрощенной однофакторной гауссовой дивергенции KL. Исходная дивергенция, здесь, выглядит следующим образом: Если мы предположим, что наша единица является т.е. и , это упрощается до И вот тут-то и лежит мое замешательство. Хотя я обнаружил несколько неясных репозиториев github с вышеуказанной реализацией, чаще всего я использую:

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$

μ_{2} = 0

$\mu_2=0$

σ_{2} = 1

$\sigma_2=1$

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ Например, в официальном руководстве по автоэнкодеру Keras . Тогда мой вопрос: что мне не хватает между этими двумя? Основным отличием является уменьшение коэффициента 2 в логарифмическом выражении, а не возведение в квадрат дисперсии. Аналитически я использовал последний с успехом, для чего это стоит. Заранее благодарю за любую помощь!

— groovyDragon
источник

7

Обратите внимание, что, заменив на в последнем уравнении, вы восстановите предыдущее (то есть ). Это наводит меня на мысль, что в первом случае кодер используется для прогнозирования дисперсии, а во втором - для прогнозирования стандартного отклонения. $\sigma_1$ $\sigma_1^2$ $\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Обе формулировки эквивалентны, и цель неизменна.

— Ф. Евлангели
источник

Я не думаю, что это может быть так, что они эквивалентны. Да, они оба свернуты, когда для ноля и единицы . Однако в исходном уравнении (с дисперсией) штраф за перемещение от единицы намного больше, чем во втором уравнении (на основе стандартного отклонения). Штраф за изменения в одинаков для обоих, и ошибка восстановления будет одинаковой, поэтому использование второй версии резко меняет относительную важность отклонений от единицы. Что мне не хватает?

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

μ

$\mu$

σ

$\sigma$

— TheBamf

0

Я считаю, что ответ проще. В VAE люди обычно используют многомерное нормальное распределение, которое имеет ковариационную матрицу вместо дисперсии . Это выглядит запутанно в части кода, но имеет желаемую форму. $\Sigma$ $\sigma^2$

Здесь вы можете найти вывод дивергенции KL для многомерных нормальных распределений: Получение потерь на расходимость KL для VAE

— Дмитрий Гребенюк
источник