Почему я не могу получить действительный SVD X через разложение по собственным значениям XX 'и X'X?

Я пытаюсь сделать SVD вручную:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Но последняя строка не возвращается mобратно. Почему? Кажется, что-то связано с признаками этих собственных векторов ... Или я неправильно понял процедуру?

Анализ проблемы

СВД матрицы никогда не бывает уникальным. Пусть матрица имеет размерыn × k, и пусть его SVD будет$A$$n\times k$

$$A = U D V^\prime$$

для матрицы U с ортонормированными столбцами, диагональной p × p- матрицы D с неотрицательными элементами и k × p- матрицы V с ортонормированными столбцами.$n\times p$$U$$p\times p$$D$$k\times p$$V$

Теперь произвольно выбираем любую диагональную матрицу S, имеющую ± 1 s на диагонали, так что S 2 = I является тождеством p × p I p . затем$p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

Также СВД из А , потому что ( U S ) ' ( U S ) = S ' U ' U S = S ' Я р S = S ' S = S 2 = я р демонстрирует U S имеет ортонормированные столбцы и аналогичный расчет показывает V S имеет ортонормированные столбцы. Более того, поскольку S и D диагональны, они коммутируют, откуда$A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ показывает, что D все еще имеет неотрицательные записи. $$S D S = DS^2 = D$$ $D$

Метод, реализованный в коде для поиска SVD, находит который диагонализирует A A ′ = ( U D V ′ ) ( U D V ′ ) ′ = U D V ′ V D ′ U ′ = U D 2 U ′ и, аналогично, A V, который диагонализирует A ' A = V D 2 V ' . Он продолжает вычислять $U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$в терминах собственных значений, найденных в . Проблема заключается в следующем не гарантирует последовательное согласование столбцов U со столбцами V .$D^2$$U$$V$

Решение

Вместо этого, после нахождения такого и такого V , используйте их для вычисления$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

$D$$A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Это СВД.

пример

$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

$U=(1)$$D=(2)$$V=(-1)$

$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

Код

Вот модифицированный код. Его вывод подтверждает

1. Метод воссоздает mправильно.
2. $U$$V$
3. Но результат не тот же SVD, возвращенный svd. (Оба одинаково действительны.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

Как я отмечал в комментарии к ответу @ whuber, этот метод для вычисления SVD не работает для каждой матрицы . Вопрос не ограничивается знаками.

$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

$U$$V$

$A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

Вычисление SVD из двух собственных разложений является отличным примером обучения, но в реальных приложениях всегда используют svdфункцию R для вычисления разложения по сингулярным числам.