Warum kann ich keine gültige SVD von X durch Eigenwertzerlegung von XX 'und X'X erhalten?

Ich versuche SVD von Hand zu machen:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Die letzte Zeile kehrt jedoch nicht mzurück. Warum? Es scheint etwas mit Anzeichen dieser Eigenvektoren zu tun zu haben ... Oder habe ich das Verfahren falsch verstanden?

Analyse des Problems

Die SVD einer Matrix ist niemals eindeutig. Die Matrix habe die Dimensionen n × k und ihre SVD sei$A$$n\times k$

$$A = U D V^\prime$$

für eine Matrix U mit orthonormalen Spalten, eine diagonale p × p- Matrix D mit nicht negativen Einträgen und eine k × p- Matrix V mit orthonormalen Spalten.$n\times p$$U$$p\times p$$D$$k\times p$$V$

$p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

$A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

Eine Lösung

$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

$D$$A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Das ist eine SVD.

Beispiel

$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

$U=(1)$$D=(2)$$V=(-1)$

$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

Code

Hier ist Code geändert. Seine Ausgabe bestätigt

1. Die Methode wird mkorrekt neu erstellt .
2. $U$$V$
3. Das Ergebnis ist jedoch nicht dieselbe SVD, die von zurückgegeben wurde svd. (Beide sind gleichermaßen gültig.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

Wie ich in einem Kommentar zur Antwort von @ whuber dargelegt habe, funktioniert diese Methode zur Berechnung der SVD nicht für jede Matrix . Das Problem ist nicht auf Zeichen beschränkt.

$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

$U$$V$

$A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

Das Berechnen der SVD aus den beiden Eigendekompositionen ist ein großartiges Lernbeispiel, aber in realen Anwendungen wird immer die svdFunktion von R verwendet, um die Singularwertzerlegung zu berechnen.