Дивергенция Кульбака-Лейблера - это метрика для сравнения двух функций плотности вероятности, но какая метрика используется для сравнения двух ГП и ?
Дивергенция Кульбака-Лейблера - это метрика для сравнения двух функций плотности вероятности, но какая метрика используется для сравнения двух ГП и ?
Ответы:
Заметим , что распределение гауссовских процессов является расширением многомерного гауссова для возможного бесконечного X . Таким образом, вы можете использовать KL-расхождение между распределениями вероятностей GP, интегрируя по R X :
Вы можете использовать методы MC для численного приближения этой величины к дискретизированному путем многократной выборки процессов в соответствии с их распределением по GP. Я не знаю, достаточно ли хорошая скорость сходимости ...
Заметим, что если конечно с | X | = n , то вы возвращаетесь к обычной дивергенции KL для многомерных нормальных распределений: D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1
Помните, что если - гауссовский процесс со средней функцией m и ковариационной функцией K , то для любого t 1 , … , t k ∈ T случайный вектор ( X ( t 1 ) , … , X ( t k ) ) имеет многомерное нормальное распределение со средним вектором ( m ( t 1 ) , … , m и ковариационной матрицы Σ = ( σ i j ) = ( K ( t i , t j ) ) , где мы использовали общее сокращение X ( t ) = X ( t , .
Каждая реализация является вещественной функцией, область является множество индексов T . Предположим, что T = [ 0 , 1 ] . Для двух гауссовских процессов X и Y одно общее расстояние между двумя реализациями X ( и Y ( является вир т ∈ [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | , Следовательно, кажется естественным определить расстояние между двумя процессами X и Y как d ( X , Y ) = E Я не знаю, существует ли аналитическое выражение для этого расстояния, но я считаю, что вы можете вычислить приближение Монте-Карло следующим образом. Зафиксируем некоторую точную сетку 0 ≤ t 1 < ⋯ < t k ≤ 1 и возьмем выборки ( x i 1 , … , x i k ) и ( y i 1 , … , y i k ) из нормальных случайных векторов ( X ( т 1 ,