Beziehung zwischen Gramm- und Kovarianzmatrizen

11

Für ein n×p Matrix X, wo pn, wie ist die Beziehung zwischen XTX (Streumatrix, auf der die Kovarianzmatrix basiert) und XXT (äußeres Produkt manchmal Gram-Matrix genannt)?

Wenn einer bekannt ist, wie ist es möglich , den anderen zu erhalten (das Beste, was man tun kann)?

Amir
quelle
Bitte überprüfen Sie meine Bearbeitung Ihrer Frage. Ist alles in Ordnung für Sie?
ttnphns
@ttnphns Danke für die Bearbeitung. Es ist völlig in Ordnung mit mir.
Amir
Ich denke, Sie haben die Streumatrix und die Grammatrix vertauscht. Die Streumatrix (oder Cov-Matrix) sollte XX 'und die Gram-Matrix X'X sein.
PhABC

Antworten:

13

Eine Singular Value Decomposition (SVD) von X drückt es aus als

X=UDV

wo U ist ein n×r Matrix, deren Spalten zueinander orthonormal sind, V ist ein p×r Matrix, deren Spalten zueinander orthonormal sind, und D ist ein r×r Diagonalmatrix mit positiven Werten (die "Singularwerte" von X) auf der Diagonale. Notwendigr- was ist der Rang von X--kann nicht größer sein als beides n oder p.

Damit berechnen wir

XX=(UDV)UDV=VDUUDV=VD2V

und

XX=UDV(UDV)=UDVVDU=UD2U.

Obwohl wir uns erholen können D2 durch Diagonalisierung eines von XX oder XXErsteres gibt keine Auskunft über U und letzteres gibt keine Auskunft über V. Jedoch,U und V sind völlig unabhängig voneinander - beginnend mit einem von ihnen, zusammen mit Dkönnen Sie die andere beliebig auswählen (abhängig von den Orthonormalitätsbedingungen) und eine gültige Matrix erstellen X. DeshalbD2enthält alle Informationen, die den Matrizen gemeinsam sindXX und XX.


Es gibt eine schöne geometrische Interpretation, die dazu beiträgt, dies zu überzeugen. Mit der SVD können wir jede lineare Transformation anzeigenTX (wie durch die Matrix dargestellt X) von Rp zu Rn in Bezug auf drei leicht verständliche lineare Transformationen:

V ist die Matrix einer Transformation TV:RrRpdas ist eins zu eins (hat keinen Kernel) und isometrisch. Das heißt, es dreht sichRr In ein r-dimensionaler Unterraum TV(Rr) von a p-dimensionaler Raum.

U In ähnlicher Weise ist die Matrix einer isometrischen Eins-zu-Eins-Transformation TU:RrRn.

D positiv skaliert die r Koordinatenachsen in Rr, entsprechend einer linearen Transformation TDdas verzerrt die Einheitskugel (als Referenz verwendet) in ein Ellipsoid, ohne es zu drehen .

Die Transponierung von V, Ventspricht einer linearen Transformation TV:RpRr das tötet alle Vektoren in Rp das sind senkrecht zu TV(Rr). Es dreht sich sonstTV(Rr) in Rr. Gleichermaßen können Sie sich vorstellenTV als "Ignorieren" von senkrechten Richtungen und Einrichten eines orthonormalen Koordinatensystems innerhalb TV(Rr)Rp. TD wirkt direkt auf dieses Koordinatensystem und dehnt sich um verschiedene Beträge (wie durch die Singularwerte angegeben) entlang der durch bestimmten Koordinatenachsen aus V. TU ordnet dann das Ergebnis zu Rn.

Die lineare Transformation, die mit verbunden ist XX in der Tat wirkt auf TV(Rr) durch zwei "Rundreisen": TX erweitert die Koordinaten im System bestimmt durch V durch TD und dann TXmacht alles noch einmal. Ähnlich,XX macht genau das gleiche mit dem r-dimensionaler Unterraum von Rn gegründet von der r orthogonale Spalten von U. So ist die Rolle vonVist es, einen Rahmen in einem Unterraum von zu beschreibenRp und die Rolle von U ist es, einen Rahmen in einem Unterraum von zu beschreiben Rn. Die MatrixXX gibt uns Informationen über den Rahmen im ersten Feld und XXsagt uns den Frame im zweiten Raum, aber diese beiden Frames müssen überhaupt keine Beziehung zueinander haben.

whuber
quelle
Sehr gut erklärt. Die notwendige und ausreichende Bedingung für die Ableitung einer gültigen (dualen?) Produktmatrix aus der anderen ist also, dass die Spur der beiden gleich sein muss.
Amir
1
Ich nehme an, es hängt alles davon ab, was Sie unter "Ableiten" verstehen. Ich hätte es verstanden, die simultanen Gleichungen zu lösenA=XX,B=XX zum X in Bezug auf die positiv-semidefiniten symmetrischen Matrizen A und B. Wenn das Ihre Bedeutung ist, benötigen Sie die diagonalen Teile der SVDs vonA und B(das heißt, ihre Spektren ungleich Null) bis zur Permutation gleich sein: Das ist viel stärker als die Spuren, die gleich sind.
whuber