Anteil der erklärten Varianz in PCA und LDA

Ich werde zuerst eine mündliche und dann eine technischere Erklärung abgeben. Meine Antwort besteht aus vier Beobachtungen:

Wie @ttnphns in den obigen Kommentaren erläutert hat, weist in PCA jede Hauptkomponente eine bestimmte Varianz auf, die zusammen 100% der Gesamtvarianz ausmachen. Für jede Hauptkomponente wird ein Verhältnis ihrer Varianz zur Gesamtvarianz als "Anteil der erklärten Varianz" bezeichnet. Das ist sehr bekannt.
Andererseits ist in LDA jeder "Diskriminanzkomponente" eine bestimmte "Diskriminierbarkeit" (ich habe diese Begriffe erfunden!) Damit verbunden, und alle zusammen ergeben 100% der "Gesamtdiskriminierbarkeit". So kann man für jede "Diskriminanzkomponente" "Anteil der erklärten Diskriminierbarkeit" definieren. Ich denke, dass der "Anteil der Spur", auf den Sie sich beziehen, genau das ist (siehe unten). Dies ist weniger bekannt, aber immer noch alltäglich.
Dennoch kann man die Varianz jeder Diskriminanzkomponente betrachten und den "Varianzanteil" jeder von ihnen berechnen. Es stellt sich heraus, dass sie sich zu etwas summieren, das weniger als 100% beträgt. Ich glaube nicht, dass ich jemals irgendwo darüber gesprochen habe, was der Hauptgrund ist, warum ich diese lange Antwort geben möchte.
Man kann auch noch einen Schritt weiter gehen und den Betrag der Varianz berechnen, den jede LDA-Komponente "erklärt"; Dies wird mehr als nur eine eigene Varianz sein.

Sei die Gesamtstreumatrix der Daten (dh die Kovarianzmatrix, jedoch ohne Normalisierung durch die Anzahl der Datenpunkte), die Streumatrix innerhalb der Klasse und zwischen Klassenstreumatrix. Definitionen finden Sie hier . Praktischerweise . $\mathbf{T}$ $\mathbf{W}$ $\mathbf{B}$ $\mathbf{T}=\mathbf{W}+\mathbf{B}$

PCA führt eine Eigenzerlegung von , nimmt seine Einheitseigenvektoren als Hauptachsen und Projektionen der Daten auf die Eigenvektoren als Hauptkomponenten. Die Varianz jeder Hauptkomponente ist durch den entsprechenden Eigenwert gegeben. Alle Eigenwerte von (symmetrisch und positiv-definitiv) sind positiv und addieren sich zu , der als Gesamtvarianz bezeichnet wird . $\mathbf{T}$ $\mathbf{T}$ $\mathrm{tr}(\mathbf{T})$

LDA führt eine Eigenzerlegung von , nimmt seine nicht orthogonalen (!) Einheitseigenvektoren als Diskriminanzachsen und Projektionen auf die Eigenvektoren als Diskriminanzkomponenten (ein erfundener Term) ). Für jede Komponente Diskriminante, können wir ein Verhältnis von zwischen Klasse Varianz berechnen und innerhalb Klasse Varianz , das heißt Signal-Rausch-Verhältnis . Es stellt sich heraus, dass es durch den entsprechenden Eigenwert von (Lemma 1, siehe unten). Alle Eigenwerte von sind positiv (Lemma 2). Summieren Sie also eine positive Zahl welche man anrufen kann $\mathbf{W}^{-1} \mathbf{B}$ $B$ $W$ $B/W$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathrm{tr}(\mathbf{W}^{-1} \mathbf{B})$ Gesamtsignal-Rausch-Verhältnis . Jede Diskriminanzkomponente hat einen bestimmten Anteil davon, und das ist, glaube ich, worauf sich "Anteil der Spuren" bezieht. Siehe diese Antwort von @ttnphns für eine ähnliche Diskussion .

Interessanterweise summieren sich die Varianzen aller Diskriminanzkomponenten zu etwas Kleinerem als der Gesamtvarianz (selbst wenn die Anzahl der Klassen im Datensatz größer als die Anzahl der Dimensionen ist; da es nur Diskriminanzachsen gibt, werden sie dies tun bilden nicht einmal eine Basis für den Fall ). Dies ist eine nicht triviale Beobachtung (Lemma 4), die sich aus der Tatsache ergibt, dass alle Diskriminanzkomponenten eine Nullkorrelation aufweisen (Lemma 3). Dies bedeutet, dass wir den üblichen Varianzanteil für jede Diskriminanzkomponente berechnen können, ihre Summe jedoch weniger als 100% beträgt. $K$ $N$ $K-1$ $K-1<N$

Ich zögere jedoch, diese Komponentenabweichungen als "erklärte Abweichungen" zu bezeichnen (nennen wir sie stattdessen "erfasste Abweichungen"). Für jede LDA-Komponente kann der Betrag der Varianz berechnet werden, den sie in den Daten erklären kann , indem die Daten auf diese Komponente zurückgeführt werden. Dieser Wert ist im Allgemeinen größer als die "erfasste" Varianz dieser Komponente. Wenn genügend Komponenten vorhanden sind, muss die erklärte Varianz zusammen 100% betragen. In meiner Antwort hier finden Sie Informationen zur Berechnung einer solchen erklärten Varianz in einem allgemeinen Fall: Hauptkomponentenanalyse "rückwärts": Wie viel Varianz der Daten wird durch eine gegebene lineare Kombination der Variablen erklärt?

Hier ist eine Abbildung unter Verwendung des Iris-Datensatzes (nur Kelchblattmessungen!): PCA und LDA der Kelchblattmessungen des Iris-Datensatzes Dünne durchgezogene Linien zeigen PCA-Achsen (sie sind orthogonal), dicke gestrichelte Linien zeigen LDA-Achsen (nicht orthogonal). Varianzanteile erklärt durch die PCA-Achsen: und . Anteile des Signal-Rausch-Verhältnisses der LDA-Achsen: und . Von den LDA-Achsen erfasste Varianzanteile: und (dh nur zusammen). Varianzanteile erklärt durch die LDA-Achsen: und . $79\%$ $21\%$ $96\%$ $4\%$ $48\%$ $26\%$ $74\%$ $65\%$ $35\%$

\begin{array}{lcccc} LDA-Achse 1 & LDA-Achse 2 & PCA-Achse 1 & PCA-Achse 2 \\ Erfasste Varianz & 48 %. & 26 %. & 79 %. & 21 %. \\ Erklärte Varianz & 65 %. & 35 %. & 79 %. & 21 %. \\ Signal-Rausch-Verhältnis & 96 %. & 4 %. & - - & - - \end{array}

$\begin{array}{lcccc} & \text{LDA axis 1} & \text{LDA axis 2} & \text{PCA axis 1} & \text{PCA axis 2} \\ \text{Captured variance} & 48\% & 26\% & 79\% & 21\% \\ \text{Explained variance} & 65\% & 35\% & 79\% & 21\% \\ \text{Signal-to-noise ratio} & 96\% & 4\% & - & - \\ \end{array}$

Lemma 1. Eigenvektoren von (oder äquivalent verallgemeinerte Eigenvektoren des verallgemeinerten Eigenwertproblems ) sind stationäre Punkte des Rayleigh-Quotienten (differenziere letzteres, um es zu sehen), wobei die entsprechenden Werte des Rayleigh-Quotienten die Eigenwerte , QED liefern . $\mathbf{v}$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}$

\frac{v^{⊤} B. v}{v^{⊤} W. v} = \frac{B.}{W.}

$\frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{W}\mathbf{v}} = \frac{B}{W}$

λ

$\lambda$

Lemma 2. Eigenwerte von sind die gleichen wie die Eigenwerte von (tatsächlich sind diese beiden Matrizen ähnlich ). Letzteres ist symmetrisch positiv-definit, so dass alle seine Eigenwerte positiv sind. $\mathbf{W}^{-1} \mathbf{B} = \mathbf{W}^{-1/2} \mathbf{W}^{-1/2} \mathbf{B}$ $\mathbf{W}^{-1/2} \mathbf{B} \mathbf{W}^{-1/2}$

Lemma 3. Beachten Sie, dass die Kovarianz / Korrelation zwischen Diskriminanzkomponenten Null ist. In der Tat sind verschiedene Eigenvektoren und des verallgemeinerten Eigenwertproblems beide - und -orthogonal ( siehe z. B. hier ), ebenso wie -orthogonal (weil ), was bedeutet, dass sie die Kovarianz Null haben: . $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}$ $\mathbf{B}$ $\mathbf{W}$ $\mathbf{T}$ $\mathbf{T}=\mathbf{W}+\mathbf{B}$ $\mathbf{v}_1^\top \mathbf{T} \mathbf{v}_2=0$

Lemma 4. Diskriminanzachsen bilden eine nicht orthogonale Basis , in der die Kovarianzmatrix diagonal ist. In diesem Fall kann man beweisen, dass QED. $\mathbf{V}$ $\mathbf{V}^\top\mathbf{T}\mathbf{V}$

t r ({V.}^{⊤} T. V.) < t r (T.),

$\mathrm{tr}(\mathbf{V}^\top\mathbf{T}\mathbf{V})<\mathrm{tr}(\mathbf{T}),$

Amöbe
quelle

+1. Viele Dinge, die Sie hier diskutieren, wurden in meiner Antwort etwas komprimierter behandelt . Ich habe einen Link zu Ihrer gegenwärtigen Antwort in den Körper meiner alten Antwort eingefügt.

ttnphns

@ttnphns: Ich erinnere mich an Ihre Antwort (sie hat meine +1 von vor langer Zeit), habe sie aber beim Schreiben dieser Antwort nicht angeschaut, so viele Dinge werden in der Tat sehr ähnlich dargestellt, vielleicht zu viel. Der Hauptgrund, warum ich diese Antwort schrieb, war jedoch die Erörterung der "erklärten Varianz" (im PCA-Sinne) der LDA-Komponenten. Ich bin mir nicht sicher, wie nützlich es in der Praxis ist, aber ich habe mich schon oft darüber gewundert und habe vor kurzem einige Zeit darum gekämpft, die Ungleichheit von Lemma 4 zu beweisen, die am Ende für mich auf Math.SE bewiesen wurde.

Amöbe

V^{⊤} T V

$\mathbf{V}^\top\mathbf{T}\mathbf{V}$

λ + 1

$\lambda+1$

v

$\mathbf{v}$

B. /. W. = \frac{v^{⊤} B. v}{v^{⊤} W. v} = λ

$B/W = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{W}\mathbf{v}} = \lambda$

B. /. T. = \frac{v^{⊤} B. v}{v^{⊤} T. v} = \frac{v^{⊤} B. v}{(v^{⊤} B. v + v^{⊤} W. v)} = \frac{λ}{λ + 1},

$B/T = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{T}\mathbf{v}} = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{(\mathbf{v}^\top\mathbf{B}\mathbf{v}+\mathbf{v}^\top\mathbf{W}\mathbf{v})} = \frac{\lambda}{\lambda+1},$

v^{⊤} T v

$\mathbf{v}^\top\mathbf{T}\mathbf{v}$

λ

$\lambda$

B / W

$B/W$

T

$\bf T$

B / W

$B/W$

Anteil der erklärten Varianz in PCA und LDA

Antworten: