Обладают ли гауссовский процесс (регрессия) свойством универсального приближения?

Может ли любая непрерывная функция на [a, b], где a и b являются действительными числами, быть аппроксимированной или произвольно близкой к функции (в некоторой норме) гауссовскими процессами (регрессия)?

gaussian-process approximation

— Майкл Д
источник

Более конкретно!

— Henry.L

да! Ну, на самом деле, это зависит от ковариационной функции, но для некоторых из них они . Дастин Тран и соавт. также доказал теорему универсального приближения в байесовской структуре для вариационного гауссова процесса , которая является более сложной моделью из-за функций деформации, но она очень тесно связана. Я напишу ответ, если вопрос будет вновь открыт. PS отметим, что универсальное приближение, как и для нейронных сетей, справедливо только для компактного множества, а не для всего .

R^{p}

$\mathbb{R}^p$

— DeltaIV

Утверждение «универсального приближения» в этом вопросе, похоже, не имеет ничего общего с утверждением в ссылочной статье Википедии. Действительно, даже не ясно, как можно приблизить функцию к процессу . Не могли бы вы уточнить, что вы пытаетесь спросить?

— whuber

@whuber Хотя технические детали могут быть немного неубедительными, я думаю, что вопрос, по сути, означает: «Для входной функции есть реализация конкретного GP, который произвольно близок к (в некоторой норме)?» Или, возможно, «поскольку мы наблюдаем бесконечно много выборочных точек из функции и выполняем стандартный вывод GP с этими данными, приближается ли изученная апостериорная средняя функция к истинной функции (в некотором смысле)?» Эти два, конечно, разные свойства, но я бы посчитал их достаточно близкими, чтобы быть ответственными (и, следовательно, отдать пятое вновь открытое голосование).

f

$f$

f

$f$

f

$f$

f

$f$

— Дугал

Может быть, вы хотите доказать сходимость вместо приближения. В противном случае доказательство простое: вы можете взять функцию как предыдущую для среднего значения. Это не намного больше, чем , но это работает.

x = x

$x=x$

— Карел Мацек

Как отмечает @Dougal, ваш вопрос может быть интерпретирован двумя различными способами. Они тесно связаны, даже если это не так.

Первая интерпретация такова: пусть - компактное подмножество (компактность фундаментальна для всего следующего !!!), пусть - непрерывную ковариационную функцию (или ядро), определенную в , и обозначим через нормированное пространство непрерывных функций на , снабженное максимальной нормой . Для любой функции , может ли быть приближена к заданному допуску функцией в RKHS (Воспроизведение гильбертового пространства ядра), связанной с $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ? Вы можете задаться вопросом, что такое RKHS и какое отношение все это имеет к регрессии Гауссова процесса. RKHS является замыканием векторного пространства, образованного всеми возможными конечными линейными комбинациями всех возможных функций , где . Это очень строго связано с регрессией гауссовского процесса, потому что если задан процесс Гаусса до в пространстве , то (замыкание) Пространство всех возможных апостериорных сред, которые могут быть получены с помощью Гауссовой регрессии процесса, является именно RKHS. На самом деле все возможные последующие средства имеют вид $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

то есть они являются конечными линейными комбинациями функций . Таким образом, мы эффективно спрашивать , если для гауссовского процесса перед на , для любой функции есть всегда является функцией в (закрытии) пространстве всех функций, которые могут быть сгенерированы GPR, который находится так близко, как это требуется к . $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

Ответ для некоторых конкретных ядер (включая классическое квадратное экспоненциальное ядро, но не включая полиномиальное ядро) - да . Можно доказать , что для таких ядер является плотным в , то есть, для любого и для любого допуска , есть в , таким что . Обратите внимание на предположения: компактно, непрерывно, а - непрерывное ядро, обладающее так называемым свойством универсального приближения. Смотрите здесь $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ для полного доказательства в более общем (таким сложным) контексте.

Этот результат гораздо менее мощный, чем кажется на первый взгляд. Даже если находится в (закрытия) пространства задних средств , которые могут быть получены с помощью георадара, мы не доказали , что это особая задняя означает возвращаемый GPR для обучения устанавливается достаточно большой, где из Конечно, обучающий набор состоит из зашумленных наблюдений за в точках . Мы даже не доказали, что среднее значение, возвращаемое GPR, сходится вообще, для ! На самом деле это вторая интерпретация, предложенная @Dougal. Ответ на этот вопрос зависит от ответа на первый вопрос: если нет функции $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ в RKHS, который является «хорошим приближением» к , конечно, мы не можем надеяться, что среднее значение, возвращаемое GPR, сходится к нему. Однако это другой вопрос. Если вы хотите получить ответ и на этот вопрос, задайте новый вопрос. $f$

— DeltaIV
источник