Понимание регрессии гауссовского процесса через бесконечномерное представление базисной функции

Часто говорят, что регрессия Гауссова процесса соответствует (GPR) байесовской линейной регрессии с (возможно) бесконечным количеством базисных функций. В настоящее время я пытаюсь понять это в деталях, чтобы понять, какие модели я могу выразить, используя GPR.

Как вы думаете, это хороший подход, чтобы попытаться понять GPR?

В книге « Гауссовские процессы для машинного обучения» Расмуссен и Уильямс показывают, что множество гауссовых процессов, описываемых параметризованным экспоненциальным квадратом ядра можно эквивалентно описать как байесовскую регрессию с предварительным убеждениемна весах и бесконечным количеством базисных функций вида

k (x, x^{'}; l) = σ_{p}^{2} \exp (- \frac{(x - x)^{2}}{2 l^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

Таким образом, параметризация ядра может быть полностью переведена в параметризацию базисных функций.

ϕ_{c} (x; l) = \exp (- \frac{(x - c)^{2}}{2 l^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

Может ли параметризация дифференцируемого ядра всегда переводиться в параметризацию предшествующей и базисной функций или существуют дифференцируемые ядра, где, например, количество базисных функций зависит от конфигурации?

$k(x,x')$

k (x, x^{'}) = \sum_{i = 1}^{\infty} λ_{i} ϕ_{i} (x) ϕ_{i} (x^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

Мой следующий вопрос об обратной теореме Мерсера.

Какие наборы базисных функций приводят к действительным ядрам?

И расширение

Какие наборы параметризованных базисных функций приводят к действительным дифференцируемым ядрам?

gaussian-process kernel-trick basis-function

— Джулиан Карлс
источник

Вот несколько замечаний. Возможно, кто-то еще может заполнить детали.

1) Основные представления всегда хорошая идея. Трудно избежать их, если вы действительно хотите сделать что-то вычислительное с вашей ковариационной функцией. Расширение базы может дать вам представление о ядре и о том, с чем можно работать. Надежда состоит в том, что вы можете найти основу, которая имеет смысл для проблемы, которую вы пытаетесь решить.

$\theta$ $\theta$

Как правило, число базовых функций будет (счетно) бесконечным, поэтому число не будет зависеть от параметра, если только некоторые значения не приведут к вырождению ядра.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$ «ы

Если базисные функции не являются ортогональными, то будет сложнее показать, что определенная из них ковариация является положительно определенной. Очевидно, что в этом случае вы имеете дело не с собственным разложением, а с каким-то другим способом аппроксимации интересующей функции.

Тем не менее, я не думаю, что люди обычно начинают с множества функций, а затем пытаются построить из них ковариационное ядро.

RE: Дифференцируемость ядра и дифференцируемость базисных функций. На самом деле я не знаю ответа на этот вопрос, но я бы предложил следующее наблюдение.

Функциональный анализ происходит путем аппроксимации функций (из бесконечномерного пространства) конечными суммами более простых функций. Чтобы сделать эту работу, все зависит от типа сближения. Как правило, если вы работаете над компактным набором со свойствами сильной сходимости (равномерная сходимость или абсолютная суммируемость) по интересующим функциям, то вы получите тот интуитивный результат, который вы ищете: свойства простых функций переходят к функция предела - например, если ядро является дифференцируемой функцией параметра, то функции расширения должны быть дифференцируемыми функциями одного и того же параметра, и наоборот. При более слабых свойствах сходимости или некомпактных областях этого не происходит. По моему опыту, есть контрпример к каждой «разумной» идее.

Примечание: чтобы предотвратить возможную путаницу со стороны читателей этого вопроса, обратите внимание, что гауссово разложение точки 1 не является примером собственного разложения точки 2.

— Placidia
источник