Каково обоснование ковариационной функции Матерна?

Ковариационная функция Матерна обычно используется в качестве функции ядра в гауссовском процессе. Определяется так

$${\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}}$$

где $d$ - функция расстояния (например, евклидово расстояние), $\Gamma$ - гамма-функция, $K_\nu$ - модифицированная функция Бесселя второго рода, $\rho$ и $\nu$ - положительные параметры. $\nu$ много времени выбрано, чтобы быть $\frac{3}{2}$ или$\frac{5}{2}$ на практике.

Много раз это ядро ​​работает лучше, чем стандартное ядро ​​Гаусса, поскольку оно «менее гладкое», но, кроме этого, есть ли другие причины, по которым можно предпочесть это ядро? Высоко ценится некоторая геометрическая интуиция о том, как она себя ведет, или какое-то объяснение, казалось бы, загадочной формулы.

В дополнение к хорошему ответу @DahnJahn, я подумал, что постараюсь рассказать немного больше о том, откуда берутся функции Бесселя и гамма. Одной из отправных точек для достижения ковариационной функции является теорема Бохнера.

Теорема (Бохнер) Непрерывная стационарная функция $k(x, y) = \widetilde{k}(|x − y|)$ положительно определена тогда и только тогда , когда $\widetilde{k}$ является преобразованием Фурье конечной положительной меры:

$$\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$$

Из этого можно сделать вывод, что ковариационная матрица Матерна выводится как преобразование Фурье $\frac{1}{(1+\omega^2)^p}$ (Источник). Это все хорошо, но это на самом деле не говорит нам, как вы пришли к этой конечной положительной мере, заданной$\frac{1}{(1+\omega^2)^p}$ . Ну, это спектральная плотность (мощности) случайного процесса$f(x)$.

Какой случайный процесс? Известно, что случайный процесс на $\mathbb{R}^d$ с ковариационной функцией Матерна является решением стохастического уравнения в частных производных (SPDE)

$$(κ^2 − ∆)^{α/2} X(s) = φW(s),$$ где $W(s)$ - гауссовский белый шум с единичной дисперсией, $$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$$ - оператор Лапласа, а$α =ν + d/2$(я думаю, что это вКресси и Викле).

Зачем выбирать именно этот SPDE / стохастический процесс? Источник в пространственной статистике, где утверждается, что это самая простая и естественная ковариация, которая хорошо работает в $\mathbb{R}^2$ :

Экспоненциальная корреляционная функция является естественной корреляцией в одном измерении, поскольку она соответствует марковскому процессу. В двух измерениях это уже не так, хотя экспонента является общей корреляционной функцией в геостатистических работах. Уиттл (1954) определил соотношение, соответствующее стохастическому дифференциальному уравнению типа Лапласа:

гдеϵ- белый шум. Соответствующий дискретный процесс решетки является авторегрессией второго порядка. (Источник)

$$\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$$ $\epsilon$

Семейство процессов , включенных в СДУ , связанный с уравнением Matern включает Орнштейн-Уленбек модель скорости частицы , подвергающуюся броуновское движение. В более общем смысле вы можете определить спектр мощности для семейства процессов A R ( p ) для каждого целого числа p, которое также имеет ковариацию семейства Матерна. Это в приложении Расмуссена и Уильямса.$AR(1)$$AR(p)$$p$

Эта ковариационная функция не связана с кластерным процессом Матерна.

Ссылки

Кресси, Ноэль и Кристофер К. Уикл. Статистика пространственно-временных данных. John Wiley & Sons, 2015.

Гутторп, Питер и Тильманн Гнейтинг. «Исследования по истории вероятностей и статистики XLIX о корреляции семейства Matern». Биометрика 93,4 (2006): 989-995.

Расмуссен, CE и Уильямс, CKI Гауссовские процессы для машинного обучения. MIT Press, 2006.

Я не знаю, но я нашел этот вопрос очень интересным, и вот что я получил после небольшого прочтения.

Для некоторых значений ковариационная функция Матерна может быть выражена как произведение экспоненты и многочлена. Например , для v , = 5 / 2 : C 5 / 2 ( г ) = σ 2 ( 1 + $\nu$$\nu = 5/2$ Тогда не удивительночто, какN→∞,Cvсобственно сходится кгауссовой RBF: ПтN→∞СN(d)=σ2ехр(-d

$$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$$ $\nu \to \infty$$C_\nu$ Дляv=1/2, корреляционная функция Matern дает Абсолютному экспоненциальному ядро C1/2(д)=σ2ехр(- $$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$$ $\nu = 1/2$ $$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$$

$\nu$$\lceil \nu \rceil -1$

Это довольно хорошо продемонстрировано на снимке, сделанном Rasmussen & Williams (2006)

В « Интерполяции пространственных данных» Стейн (который фактически предложил название ковариационной функции Матерна) утверждает (стр. 30), что бесконечная дифференцируемость гауссовой ковариационной функции дает нереалистичные результаты для физических процессов, поскольку наблюдается только небольшая непрерывная дробь Пространство / время должны теоретически дать целую функцию. Таким образом, он предложил версию Matérn как обобщение, способное более реалистично сопоставлять физические процессы.

Резюме

$\nu$

$\nu$