Как вы сравниваете два гауссовских процесса?

Дивергенция Кульбака-Лейблера - это метрика для сравнения двух функций плотности вероятности, но какая метрика используется для сравнения двух ГП $X$ и $Y$ ?

gaussian-process metric

— Пушкарь
источник

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Дзен

@Zen: Если у вас есть время, мне интересно узнать больше об этой метрике расстояния.

— Нил Дж

Привет, Нил. Я не знаю много об этом. Пожалуйста, смотрите мой ответ ниже.

— Дзен

Ответы:

Заметим , что распределение гауссовских процессов является расширением многомерного гауссова для возможного бесконечного . Таким образом, вы можете использовать KL-расхождение между распределениями вероятностей GP, интегрируя по : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Вы можете использовать методы MC для численного приближения этой величины к дискретизированному путем многократной выборки процессов в соответствии с их распределением по GP. Я не знаю, достаточно ли хорошая скорость сходимости ... $\mathcal{X}$

Заметим, что если конечно с , то вы возвращаетесь к обычной дивергенции KL для многомерных нормальных распределений: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
источник

Как я могу рассчитать два средних (mu1 и mu2), которые вы упомянули. Или я должен взять их равными нулю, как обычно для гауссовского процесса?

— Марат Закиров

Помните, что если - гауссовский процесс со средней функцией и ковариационной функцией , то для любого случайный вектор имеет многомерное нормальное распределение со средним вектором $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ и ковариационной матрицы , где мы использовали общее сокращение $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Каждая реализация является вещественной функцией, область является множество индексов . Предположим, что . Для двух гауссовских процессов и одно общее расстояние между двумя реализациями $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ и $X(\,\cdot\,,\omega)$ является, Следовательно, кажется естественным определить расстояние между двумя процессами и как $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Я не знаю, существует ли аналитическое выражение для этого расстояния, но я считаю, что вы можете вычислить приближение Монте-Карло следующим образом. Зафиксируем некоторую точную сетку и возьмем выборки и из нормальных случайных векторов

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

, соответственно, для

. Приблизительно

на

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
источник

Как вы выбираете из каждого вектора? Если вы выбираете только средние значения для каждого из врачей общей практики, вы не учитываете отклонения. В противном случае вам придется разработать последовательную технику выборки.

— Пушкарь

Это отличный ресурс: gaussianprocess.org/gpml/chapters

— Zen

Вы также можете прочитать все ответы на этот вопрос: stats.stackexchange.com/questions/30652/…

— Zen

Обратите внимание, что это не расстояние, так как

d (X, X) \neq 0

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

G

$G$ .

— Emile

@Emile: how is it that

d (X, X) \neq 0

$d(X,X)\neq 0$ using definition

(*)

$(*)$ ?

— Zen