Was ist die Intuition hinter SVD?

Ich habe über Singular Value Decomposition (SVD) gelesen. In fast allen Lehrbüchern wird erwähnt, dass es die Matrix in drei Matrizen mit gegebener Spezifikation zerlegt.

Aber was ist die Intuition hinter der Aufspaltung der Matrix in einer solchen Form? PCA und andere Algorithmen zur Dimensionsreduzierung sind in dem Sinne intuitiv, dass der Algorithmus eine gute Visualisierungseigenschaft aufweist, bei SVD ist dies jedoch nicht der Fall.

matrix linear-algebra svd intuition SHASHANK GUPTA
quelle

Sie sollten von der Intuition der Eigenwert-Eigenvektor-Zerlegung ausgehen, da SVD eine Erweiterung für alle Arten von Matrizen ist, anstatt nur für quadratische.

JohnK

Im Internet gibt es viele Hinweise und Antworten auf den Lebenslauf über SVD und seine Arbeitsweise.

Vladislavs Dovgalecs

SVD kann als Komprimierungs- / Lernalgorithmus betrachtet werden. Es ist ein linearer Kompressor-Dekompressor. Eine Matrix M kann durch Multiplikation von SVD dargestellt werden. S ist der Kompressor V bestimmt, wie viel Fehler Sie haben möchten (verlustbehaftete Komprimierung) und D ist der Dekomprimierer. Wenn Sie alle diagonalen Werte von V beibehalten, haben Sie einen verlustfreien Kompressor. Wenn Sie anfangen, kleine singuläre Werte wegzuwerfen (sie auf Null zu setzen), können Sie die anfängliche Matrix nicht exakt rekonstruieren, bleiben aber nah. Hier wird der Begriff nah mit der Frobenius-Norm gemessen.

Cagdas Ozgenc

@Cagdas, wenn Sie das tun, definieren Sie bitte sorgfältig, was Sie unter "S" "V" und "D" mathematisch verstehen. Ich habe noch nie zuvor die Initialen in der Notation selbst überladen gesehen (welche Singularwerte sind zum Beispiel enthalten?). Es scheint eine wahrscheinliche Quelle der Verwirrung zu sein

Glen_b

Wissen Sie, wie man PCA mit SVD schätzt? Wenn ja, können Sie dann erklären, warum Sie das Gefühl haben, dass etwas in Ihrem Verständnis von SVD fehlt? Siehe dies

Aksakal

Antworten:

Schreiben den SVD der Matrix (real, ) als , wo ist , ist diagonal und ist , . In Bezug auf den Spalten der Matrizen und können wir schreiben $X$ $n\times p$

X = U D V^{T}

$X = U D V^T$

U

$U$

n \times p

$n\times p$

D

$D$

p \times p

$p\times p$

V^{T}

$V^T$

p \times p

$p\times p$

U

$U$

V

$V$

X = \sum_{i = 1}^{p} d_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^p d_i u_i v_i^T$ . Das zeigt

geschrieben als eine Summe von

Rang-1-Matrizen. Wie sieht eine Rang-1-Matrix aus? Mal sehen:

Die Zeilen sind proportional und die Spalten sind proportional.

X

$X$

p

$p$

(\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}) (\begin{matrix} 4 & 5 & 6 \end{matrix}) = (\begin{matrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{matrix})

$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$

Stellen Sie sich nun , das die Graustufenwerte eines Schwarzweißbilds enthält, wobei jeder Eintrag in der Matrix ein Pixel darstellt. Zum Beispiel das folgende Bild eines Pavians: $X$

Lesen Sie dann dieses Bild in R ein und holen Sie sich den Matrixteil der resultierenden Struktur, möglicherweise unter Verwendung der Bibliothek pixmap.

Wenn Sie eine schrittweise Anleitung zur Reproduktion der Ergebnisse benötigen, finden Sie den Code hier .

Berechnen Sie die SVD:

baboon.svd  <-  svd(bab) # May take some time

$512 \times 512$ $512$ $512$ $1$ $20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

Daraus ergeben sich die folgenden zwei Bilder:

Links sind die vertikalen / horizontalen Streifen im Rang-1-Bild gut zu erkennen.

$20$

Was ziemlich interessant ist: Wir sehen die Teile des Originalbildes, die schwer darzustellen sind, als Überlagerung von vertikalen / horizontalen Linien, meist diagonalen Nasenhaaren und etwas Textur, und die Augen!

kjetil b halvorsen
quelle

Ich denke, Sie meinten eine Rekonstruktion mit niedrigem Rang, nicht mit niedriger Reichweite. Keine Ursache. Dies ist eine sehr gute Illustration (+1). Deshalb ist es ein Linearkompressor-Dekompressor. Das Bild ist mit Linien angenähert. Wenn Sie tatsächlich einen ähnlichen Autoencoder mit einem neuronalen Netzwerk mit linearen Aktivierungsfunktionen ausführen, werden Sie tatsächlich feststellen, dass er auch Linien mit beliebiger Steigung zulässt, nicht nur vertikale und horizontale Linien, was ihn etwas leistungsfähiger als SVD macht.

Cagdas Ozgenc

X = U Σ V^{*}

$X = U \Sigma V^*$

n \times p

$n \times p$

X

$X$

U

$U$

n \times n

$n \times n$

Σ

$\Sigma$

n \times p

$n \times p$

V

$V$

p \times p

$p \times p$

Siehe math.stackexchange.com/questions/92171/... für einige andere Beispiele

kjetil b Halvorsen

@ kjetil-b-halvorsen Ich bin daran interessiert zu wissen, wie sich die Beschreibung ändern würde, wenn ich PCA zum Kündigen von Anträgen verwendet hätte. Ich würde mich freuen,

Dushyant Kumar

@CowboyTrader interessante Beobachtung. Mein Verständnis von Maschinellem Lernen / Neuronalem Netzwerk ist ziemlich begrenzt. Ich verstehe also nicht, dass das neuronale Netzwerk funktionieren würde, wenn man ein einzelnes verrauschtes Bild und nichts anderes zum Trainieren hätte.

Dushyant Kumar

$A$ $m \times n$ $m \geq n$ $v$ $A$

\begin{aligned} (1) & v_{1} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$

v_{1}

$v_1$

A

$A$

\begin{aligned} v_{2} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ⟨ v_{1}, v ⟩ = 0, \\ ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$

v_{1}, \dots, v_{n}

$v_1, \ldots, v_n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

A

$A$

Sei (also quantifiziert die Sprengkraft von in der Richtung ). Angenommen, die Einheitsvektoren sind so definiert, dass Die Gleichungen (2) können unter Verwendung der Matrixnotation kurz ausgedrückt werden als wobei die Matrix ist, deren te Spalte , die Matrix ist, deren Die dritte Spalte ist und $\sigma_i = \|A v_i \|_2$ $\sigma_i$ $A$ $v_i$ $u_i$

\begin{matrix} (2) & A v_{i} = σ_{i} u_{i} for i = 1, \dots, n . \end{matrix}

$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$

\begin{matrix} (3) & A V = U Σ, \end{matrix}

$\tag{3} A V = U \Sigma,$

V

$V$

n \times n

$n \times n$

i

$i$

v_{i}

$v_i$

U

$U$

m \times n

$m \times n$

i

$i$

u_{i}

$u_i$

Σ

$\Sigma$ ist die Diagonalmatrix, deren ter diagonaler Eintrag . Die Matrix ist orthogonal, also können wir beide Seiten von (3) mit multiplizieren , um Es könnte den Anschein haben, dass wir die SVD von mit nahezu null Aufwand abgeleitet haben. Keiner der Schritte war bisher schwierig. Es fehlt jedoch ein entscheidender Teil des Bildes - wir wissen noch nicht, dass orthogonal ist.

n \times n

$n \times n$

i

$i$

σ_{i}

$\sigma_i$

V

$V$

V^{T}

$V^T$

A = U Σ V^{T} .

$A = U \Sigma V^T.$

A

$A$

U

$U$

Hier ist die entscheidende Tatsache, das fehlende Teil: Es stellt sich heraus, dass orthogonal zu : Ich behaupte, wenn dies nicht wahr wäre, dann wäre für problem (1) nicht optimal. In der Tat wäre es möglich, wenn (4) nicht erfüllt wäre, zu verbessern, indem es ein wenig in der Richtung . $A v_1$ $A v_2$

\begin{matrix} (4) & ⟨ A v_{1}, A v_{2} ⟩ = 0. \end{matrix}

$\tag{4} \langle A v_1, A v_2 \rangle = 0.$ $v_1$

v_{1}

$v_1$

v_{2}

$v_2$

Angenommen (für einen Widerspruch), dass (4) nicht erfüllt ist. Wenn in der orthogonalen Richtung leicht gestört ist , ändert sich die Norm von nicht (oder zumindest ist die Änderung der Norm von vernachlässigbar). Wenn ich auf der Erdoberfläche wandle, ändert sich mein Abstand zum Erdmittelpunkt nicht. Wenn jedoch in Richtung gestört wird , die Vektor ist in dem gestörten nichtorthogonalen Richtung , und so die Änderung in der Norm von ist nicht vernachlässigbare . Die Norm von $v_1$ $v_2$ $v_1$ $v_1$ $v_1$ $v_2$ $A v_1$ $A v_2$ $A v_1$ $A v_1$ kann um einen nicht zu vernachlässigenden Betrag erhöht werden. Dies bedeutet, dass für Problem (1) nicht optimal ist, was ein Widerspruch ist. Ich liebe dieses Argument, weil: 1) die Intuition sehr klar ist; 2) Die Intuition kann direkt in einen strengen Beweis umgewandelt werden. $v_1$

Ein ähnliches Argument zeigt, dass sowohl zu als auch zu orthogonal ist und so weiter. Die Vektoren sind paarweise orthogonal. Dies bedeutet, dass die Einheitsvektoren paarweise orthogonal gewählt werden können, was bedeutet, dass die obige Matrix eine orthogonale Matrix ist. Damit ist unsere Entdeckung der SVD abgeschlossen. $A v_3$ $A v_1$ $A v_2$ $A v_1, \ldots, A v_n$ $u_1, \ldots, u_n$ $U$

Um das obige intuitive Argument in einen strengen Beweis umzuwandeln, müssen wir die Tatsache konfrontieren, dass der gestörte Vektor , wenn in der Richtung gestört wird, nicht wirklich ein Einheitsvektor ist. (Die Norm lautet .) Um einen strengen Beweis zu erhalten, definieren Sie Der Vektor ist wirklich ein Einheitsvektor. Aber wie Sie leicht zeigen können, wenn (4) nicht erfüllt ist, haben wir für ausreichend kleine Werte von (unter der Annahme, dass das Vorzeichen von $v_1$ $v_2$

{\tilde{v}}_{1} = v_{1} + ϵ v_{2}

$\tilde v_1 = v_1 + \epsilon v_2$

\sqrt{1 + ϵ^{2}}

$\sqrt{1 + \epsilon^2}$

{\bar{v}}_{1} (ϵ) = \sqrt{1 - ϵ^{2}} v_{1} + ϵ v_{2} .

$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$

{\bar{v}}_{1} (ϵ)

$\bar v_1(\epsilon)$

ϵ

$\epsilon$

f (ϵ) = ‖ A {\bar{v}}_{1} (ϵ) ‖_{2}^{2} > ‖ A v_{1} ‖_{2}^{2}

$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$

ϵ

$\epsilon$ ist richtig gewählt). Um dies zu zeigen, überprüfen Sie einfach, ob . Dies bedeutet, dass für Problem (1) nicht optimal ist, was ein Widerspruch ist.

f^{'} (0) \neq 0

$f'(0) \neq 0$

v_{1}

$v_1$

(Übrigens empfehle ich, die SVD-Erklärung von Qiaochu Yuan hier zu lesen. Sehen Sie sich insbesondere "Key lemma # 1" an, was wir oben besprochen haben. Wie Qiaochu sagt, ist "Key lemma # 1" das technische Herz der Singularwertzerlegung ".)

littleO
quelle

Alter, nimm dir eine Stunde Zeit und sieh dir diesen Vortrag an: https://www.youtube.com/watch?v=EokL7E6o1AE

Dieser Typ ist super direkt, es ist wichtig, nichts davon zu überspringen, weil am Ende alles zusammenkommt. Auch wenn es am Anfang etwas langsam erscheinen mag, versucht er, einen kritischen Punkt zu bestimmen, was er auch tut!

Ich werde es für Sie zusammenfassen, anstatt Ihnen nur die drei Matrizen zu geben, die jeder tut (weil mich das verwirrte, als ich andere Beschreibungen las). Woher kommen diese Matrizen und warum richten wir sie so ein? Der Vortrag nagelt es! Jede Matrix (jemals in der Geschichte der Everness) kann aus einer Grundmatrix mit den gleichen Dimensionen konstruiert werden. Dann kann sie gedreht und gedehnt werden (dies ist der Hauptsatz der linearen Algebra). Jede dieser drei Matrizen, die Menschen herumwerfen, repräsentiert eine anfängliche Matrix (U), eine Skalierungsmatrix (Sigma) und eine Rotationsmatrix (V).

Die Skalierungsmatrix zeigt Ihnen, welche Rotationsvektoren dominieren, diese werden als Singularwerte bezeichnet. Die Zerlegung wird nach U, Sigma und V aufgelöst.

Tim Johnsen
quelle