Как вы сравниваете два гауссовских процесса?


14

Дивергенция Кульбака-Лейблера - это метрика для сравнения двух функций плотности вероятности, но какая метрика используется для сравнения двух ГП X и Y ?


d(X,Y)=E[supt|X(t)Y(t)|]
Дзен

@Zen: Если у вас есть время, мне интересно узнать больше об этой метрике расстояния.
Нил Дж

Привет, Нил. Я не знаю много об этом. Пожалуйста, смотрите мой ответ ниже.
Дзен

Ответы:


8

Заметим , что распределение гауссовских процессов является расширением многомерного гауссова для возможного бесконечного X . Таким образом, вы можете использовать KL-расхождение между распределениями вероятностей GP, интегрируя по R X :XRXRX

DKL(P|Q)=RXlogdPdQdP.

Вы можете использовать методы MC для численного приближения этой величины к дискретизированному путем многократной выборки процессов в соответствии с их распределением по GP. Я не знаю, достаточно ли хорошая скорость сходимости ...X

Заметим, что если конечно с | X | = n , то вы возвращаетесь к обычной дивергенции KL для многомерных нормальных распределений: D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1X|X|=n

DKL(GP(μ1,K1),GP(μ2,K2))=12(tr(K21K1)+(μ2μ1)K21(μ2μ1)n+log|K2||K1|)

Как я могу рассчитать два средних (mu1 и mu2), которые вы упомянули. Или я должен взять их равными нулю, как обычно для гауссовского процесса?
Марат Закиров

4

Помните, что если - гауссовский процесс со средней функцией m и ковариационной функцией K , то для любого t 1 , , t kT случайный вектор ( X ( t 1 ) , , X ( t k ) ) имеет многомерное нормальное распределение со средним вектором ( m ( t 1 ) , , mX:T×ΩRmKt1,,tkT(X(t1),,X(tk)) и ковариационной матрицы Σ = ( σ i j ) = ( K ( t i , t j ) ) , где мы использовали общее сокращение X ( t ) = X ( t ,(m(t1),,m(tk))Σ=(σij)=(K(ti,tj)) .X(t)=X(t,)

Каждая реализация является вещественной функцией, область является множество индексов T . Предположим, что T = [ 0 , 1 ] . Для двух гауссовских процессов X и Y одно общее расстояние между двумя реализациями X (X(,ω)TT=[0,1]XY и Y (X(,ω) является вир т [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | , Следовательно, кажется естественным определить расстояние между двумя процессами X и Y как d ( X , Y ) = EY(,ω)supt[0,1]|X(t,ω)Y(t,ω)|XY Я не знаю, существует ли аналитическое выражение для этого расстояния, но я считаю, что вы можете вычислить приближение Монте-Карло следующим образом. Зафиксируем некоторую точную сетку 0 t 1 < < t k1 и возьмем выборки ( x i 1 , , x i k ) и ( y i 1 , , y i k ) из нормальных случайных векторов ( X ( т 1 ,

d(X,Y)=E[supt[0,1]|X(t)Y(t)|].()
0t1<<tk1(xi1,,xik)(yi1,,yik) и ( Y ( т 1 ) , ... , Y ( т к ) ) , соответственно, для я = 1 , ... , N . Приблизительно d ( X , Y ) на 1(X(t1),,X(tk))(Y(t1),,Y(tk))i=1,,Nd(X,Y)
1Ni=1Nmax1jk|xijyij|.

Как вы выбираете из каждого вектора? Если вы выбираете только средние значения для каждого из врачей общей практики, вы не учитываете отклонения. В противном случае вам придется разработать последовательную технику выборки.
Пушкарь

Это отличный ресурс: gaussianprocess.org/gpml/chapters
Zen

Вы также можете прочитать все ответы на этот вопрос: stats.stackexchange.com/questions/30652/…
Zen

Обратите внимание, что это не расстояние, так как d(X,X)0. As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as d(G1,G2)=EXG1,YG2[supt|X(t)Y(t)|], and we have that EXG,YGsupt|X(t)Y(t)|>0 for non degenerated Gaussian process G.
Emile

@Emile: how is it that d(X,X)0 using definition ()?
Zen
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.