Метод Нистроема для аппроксимации ядра

Я читал о методе Nyström для апроксимации ядра низкого ранга. Этот метод реализован в scikit-learn [1] как метод проецирования выборок данных в низкосортное приближение отображения характеристик ядра.

Насколько мне известно, данный учебный набор и функция ядра, она генерирует низкокачественного приближение ядро матрицы , применяя SVD к и . $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

Тем не менее, я не понимаю, как низкое ранговое приближение матрицы ядра можно использовать для проецирования новых выборок в аппроксимированное пространство признаков ядра . Работы, которые я нашел (например, [2]), не очень помогают, потому что они мало дидактичны.

Кроме того, мне любопытно вычислительная сложность этого метода как на этапах обучения, так и на этапе тестирования.

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— Даниэль Лопес
источник

Давайте выведем приближение Нистрома таким образом, чтобы ответы на ваши вопросы были более ясными.

Ключевое предположение в Nyström состоит в том, что функция ядра имеет ранг $m$ . (На самом деле мы предполагаем, что он приблизительно имеет ранг $m$ , но для простоты давайте теперь представим, что это точно ранг $m$ .) Это означает, что любая матрица ядра будет иметь ранг не более $m$ , и в частности

K знак равно [\begin{matrix} К ({Икс}_{1}, {Икс}_{1}) & ... & К ({Икс}_{1}, {Икс}_{N}) \\ ⋮ & ⋱ & ⋮ \\ К ({Икс}_{N}, {Икс}_{1}) & ... & К ({Икс}_{N}, {Икс}_{N}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$ это ранг

m

$m$ . Следовательно, существует

m

$m$ ненулевых собственных значений, и мы можем записать собственное разложение

K

$K$ как

К знак равно U Λ U^{T}

$K = U \Lambda U^T$ с собственными векторами, сохраненными в

U

$U$ , формы

n \times m

$n \times m$ и собственными значениями, расположенными в

Λ

$\Lambda$ ,диагональной матрице

m \times m

$m \times m$ .

Итак, давайте выберем элементов, обычно равномерно случайным образом, но, возможно, в соответствии с другими схемами - все, что имеет значение в этой упрощенной версии, это то, что будет иметь полный ранг. Как только мы это сделаем, просто пометьте точки так, чтобы мы получили матрицу ядра в блоках: где мы оцениваем каждую запись в (которая равна ) и ( $m$ $K_{11}$

К знак равно [\begin{matrix} К_{11} & К_{21}^{T} \\ К_{21} & К_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$ ), но не хочу оценивать какие-либо записи в

K_{22}

$K_{22}$

Теперь мы можем разделить собственное разложение и по этой блочной структуре: гдепредставляет собойапредставляет собой. Но обратите внимание, что теперь мы имеем . Таким образом, мы можем найти

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

путем собственного разложения известной матрицы

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

Также известно, что . Здесь мы знаем все в этом уравнении, за исключением , поэтому мы можем решить, для каких собственных значений это означает: умножим справа обе стороны на чтобы получить Теперь у нас есть все, что нужно для оценки : $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

В (*) мы нашли версию встраивания Nyström, которую вы могли видеть просто как определение. Это говорит нам об эффективных значениях ядра, которые мы вменяем для блока . $K_{22}$

В (**) мы видим, что матрица признаков , которая имеет форму, соответствует этим вмененным значениям ядра. Если мы используем $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ дляточекмы имеем множествомерных признаков $K_{11}^{\frac12}$ $m$ $m$ Мы можем просто быстро проверить, чтосоответствует правильной матрице ядра:

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

$m$ $\Phi$ $K$

$x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$ и наши реконструкции

K_{21}

$K_{21}$ или

K_{test, 1}

$K_{\text{test},1}$ будут близки к истинным значениям, но не точно так же. Они будут лучше реконструировать, чем ближе пространство

K_{11}

$K_{11}$ добирается до того из

K

$K$ в целом, именно поэтому выбор правильного

m

$m$ очки важны на практике.

Обратите внимание, что если $K_{11}$ has any zero eigenvalues, you can replace inverses with pseudoinverses and everything still works; you just replace $K_{21}$ in the reconstruction with $K_{21} K_{11}^\dagger K_{11}$ .

You can use the SVD instead of the eigendecomposition if you'd like; since $K$ is psd, they're the same thing, but the SVD might be a little more robust to slight numerical error in the kernel matrix and such, so that's what scikit-learn does. scikit-learn's actual implementation does this, though it uses $\max(\lambda_i, 10^{-12})$ in the inverse instead of the pseudoinverse.

— Dougal
источник

When

A

$A$ is positive semidefinite, the eigendecomposition

U Λ U^{T}

$U \Lambda U^T$ coincides with the SVD. scikit-learn, because due to numerical error

A

$A$ might be slightly non-psd, instead computes

U Σ V^{T}

$U \Sigma V^T$ , and uses

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$ , so that

A

$A$ 's features become

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$ . It's the same thing, basically.

— Дугал

Whoops, sorry, yeah they use

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$ . It all doesn't really matter since

U \approx V

$U \approx V$ , but since they do the transpose the features for

K_{11}

$K_{11}$ end up as

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$ .

— Дугал

Raising a diagonal matrix to a power is the same as raising each element to a power, and

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$ . In numpy broadcasting notation, elementwise multiplication by a vector is the same as right-multiplying by a diagonal matrix. Also, that code uses

V

$V$ to mean what I was calling

V^{T}

$V^T$ .

— Дугал

Whoops, sorry, that should only be up to

x_{m}

$x_m$ (in the re-labeled ordering, so that those are the Nyström basis points). Will fix.

— Дугал

x

$x$ is a data point, its dimension isn't specified here.

x

$x$ might be in

R^{d}

$\mathbb R^d$ , or it might be a string or something; just say that

x \in X

$x \in \mathcal X$ , so that

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$ . Then

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$ just stacks up

k (x, x_{i})

$k(x, x_i)$ for

m

$m$ different inputs.

— Дугал