У меня проблемы с выводом формулы дивергенции KL, предполагающей два многомерных нормальных распределения. Я сделал одномерный случай довольно легко. Тем не менее, прошло довольно много времени с тех пор, как я взял статистику по математике, поэтому у меня возникли некоторые проблемы с распространением ее на многовариантный вариант. Я уверен, что мне просто не хватает чего-то простого.
Вот что у меня есть ...
Предположим, что и и являются PDF- нормальных распределений со средними и и дисперсиями и соответственно. Расстояние Кульбака-Лейблера от до равно:
, что для двух многомерных нормалей равно:
Следуя той же логике, что и это доказательство , я доберусь до здесь, прежде чем застряну:
Я думаю, что я должен реализовать трюк трассировки , но я просто не уверен, что делать после этого. Будем благодарны за любые полезные советы, чтобы вернуть меня на правильный путь!