Beziehung zwischen Eigenvektoren von und im Kontext von PCA

7

In Christopher Bishops Buch Pattern Recognition and Machine Learning enthält der Abschnitt über PCA Folgendes:

Bei einer zentrierten Datenmatrix mit der Kovarianzmatrix lautet die Eigenvektorgleichung:XN1XTX

N1XTXui=λiui.

Bishop definiert und behauptet, wenn und eine Einheitslänge haben, dann:vi=Xuiuivi

ui=1(Nλi)12XTvi.

Woher kommt die Quadratwurzel?


BEARBEITEN:

Warum ist insbesondere Folgendes ungültig:

1NXTXui=λui

1NXTvi=λui usingvi=Xui

1NλiXTvi=ui

Das gleiche Ergebnis, aber ohne Quadratwurzel.

Danny
quelle
1
Die Quadratwurzel ergibt sich aus der Anforderung von PCA, dass die Kovarianzmatrix der transformierten Daten die Identitätsmatrix ist. Ohne sie würden Sie und wären nirgendwo hingekommen. VVTx=Ix=x
Vermutungen
@amoeba Ich habe meine Frage erweitert, um genau das Problem zu enthalten, das ich habe. Bei Bedarf werde ich auch mehr Kontext hinzufügen.
Danny
"... using " ist nicht durch die definierende Gleichung gerechtfertigt und normalerweise nicht wahr. vi=XuiviX=ui
whuber
@whuber Whoops. das war ein Tippfehler, das Buch definiert . Vielen Dankvi=Xui
Danny

Antworten:

16

Dies bezieht sich auf den kurzen Abschnitt 12.1.4 PCA für hochdimensionale Daten in Bishops Buch. Ich kann sehen, dass dieser Abschnitt etwas verwirrend sein kann, da Bishop zwischen und mit einer leicht inkonsistenten Notation.viui

Der Abschnitt befasst sich mit der Beziehung zwischen den Eigenvektoren der Kovarianzmatrix und den Eigenvektoren der Gram-Matrix ( im Rahmen von PCA). Sei ein Eigenvektor mit Einheitslänge von :1NXX1NXXvi1NXX

1NXXvi=λivi.

Wenn wir diese Gleichung von links mit multiplizieren :X

1NXX(Xvi)=λi(Xvi),

wir sehen, dass ein Eigenvektor von .Xvi1NXX

Es wird jedoch keine Einheitslänge haben! Berechnen wir in der Tat seine Länge: Die quadratische Länge von ist also gleich . Wenn wir also zu transformieren möchte in eine Längeneinheit Kovarianzmatrix Eigenvektor , müssen wir sie haben Einheitslänge normalisieren:

Xvi2=(Xvi)Xvi=viXXvi=vi(Nλvi)=Nλvi2=Nλi.
XviNλiviui
ui=1(Nλi)1/2Xvi.

(Bitte beachten Sie, dass in der obigen die von Ihnen zitierte Definition . Stattdessen haben wir direkt mit einer Einheitslänge . Ich glaube, dies könnte die Quelle Ihrer Verwirrung gewesen sein. Bishop verwendet Definition weiter oben in diesem Abschnitt, aber für dieses spezielle Argument nicht mehr relevant.)vi=Xuivivi=Xui

Amöbe
quelle