Сколько регуляризации добавить, чтобы сделать SVD стабильным?

Я использовал SVD от Intel MKL ( dgesvdчерез SciPy) и заметил, что результаты значительно отличаются, когда я меняю точность между float32и float64когда моя матрица плохо обусловлена ​​/ не имеет полного ранга. Есть ли руководство по минимальному количеству регуляризации, которое я должен добавить, чтобы сделать результаты нечувствительными к float32-> float64изменениям?

В частности, занимаюсь $A=UDV^{T}$, Я вижу это $L_\infty$ норма $V^{T}X$перемещается примерно на 1, когда я меняю точность между float32и float64.$L_2$ норма $A$ является $10^5$ и он имеет около 200 нулевых собственных значений из общего числа 784.

Делать SVD на $\lambda I + A$ с $\lambda=10^{-3}$ сделал разницу исчезать.

Хотя на этот вопрос есть отличный ответ, вот небольшое практическое правило для небольших значений с сюжетом.

Если значение в единственном числе отлично от нуля, но очень мало, вы должны определить, что его обратное значение равно нулю, поскольку его кажущееся значение, вероятно, является артефактом ошибки округления, а не значащим числом. Правдоподобный ответ на вопрос "насколько маленький маленький?" таким образом редактировать все значения единственного числа, отношение которых к наибольшему меньше$N$ раз точность машины $\epsilon$ ,

$\qquad$ - Numerical Recipes p. 795

Добавлено: следующая пара строк вычисляет это эмпирическое правило.

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

---

Матрица Гильберта, кажется, широко используется в качестве контрольного примера для ошибки округления:

Здесь младшие биты в мантиссах матрицы Гильберта обнуляются A.astype(np.float__).astype(np.float64), а затем вводятся np.linalg.svdв float64. (Результаты со svdвсеми float32примерно одинаковы.)

Простое усечение float32может даже быть полезным для шумоподавления многомерных данных, например, для классификации поезда / теста.

Реальные тестовые случаи приветствуются.

Разложение по сингулярности для симметричной матрицы $A=A^{T}$ одно и то же с его каноническим собственным разложением (т. е. с ортонормированной матрицей собственных векторов), а то же самое с несимметричной матрицей $M=U \Sigma V^T$ это просто каноническое разложение по собственным значениям для симметричной матрицы

$$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$$ Следовательно, не ограничивая общности, рассмотрим тесно связанный вопрос: если две симметричные матрицы приблизительно одинаковы, то следует ли ожидать, что их канонические собственные разложения также будут приблизительно одинаковыми?

Ответ удивительный, нет. Позволять$\epsilon>0$ быть маленьким, и рассмотрим две матрицы

$$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$$ оба из которых имеют собственные значения $\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$но чьи собственные векторы $$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$$ Пока матрицы $A_{\epsilon} \approx B_{\epsilon}$ примерно одинаковы, их матрица собственных векторов $V$ а также $U$очень разные. Действительно, поскольку собственные разложения являются уникальными для$\epsilon>0$действительно не существует выбора $U,V$ such that $U\approx V$

Now, applying this insight back to the SVD under finite precision, let us write $M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$ as your matrix in float64 precision, and $M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ as the same matrix in float32 precision. If we assume that the SVDs themselves are exact, then the singular values $\Sigma_{0},\Sigma_{\epsilon}$ must differ by no more than a small constant factor of $\epsilon\approx10^{-7}$, but the singular vectors $U_{0},U_{\epsilon}$ and $V_{0},V_{\epsilon}$ can differ by an arbitrarily large quantity. Hence, as shown, there is no way to make the SVD "stable" in the sense of the singular vectors.