Gibt es einen Vorteil von SVD gegenüber PCA?

Ich weiß, wie man PCA und SVD mathematisch berechnet, und ich weiß, dass beide auf die lineare Regression der kleinsten Quadrate angewendet werden können.

Der Hauptvorteil von SVD scheint mathematisch zu sein, dass es auf nicht quadratische Matrizen angewendet werden kann.

Beide konzentrieren sich auf die Zerlegung der Matrix. Gibt es außer den genannten Vorteilen von SVD zusätzliche Vorteile oder Erkenntnisse, die durch die Verwendung von SVD gegenüber PCA erzielt werden? $X^\top X$

Ich suche wirklich eher nach der Intuition als nach irgendwelchen mathematischen Unterschieden.

pca least-squares svd Baz
quelle

Die Frage ist unklar. Zuerst erwähnen Sie die OLS-Regression. Es verschwindet dann. Als nächstes können advantage... SVD over PCA- svd und PCA nicht als mathematische Operation und Datenanalysemethode verglichen werden. Kann Ihre Frage etwas über Möglichkeiten sein, PCA zu machen ? Oder was fragst du?

TTNPHNS

Entschuldigung für die Unklarheit. Ich habe Ridge-Typ-Schätzer, von denen einer mit PCA und der andere mit SVD abgeleitet wurde. Es gibt Unterschiede in der Art und Weise, in der die Modelle eingerichtet sind, dh es werden die Vorinformationen verwendet, die sie verwenden. Aber sie sind vom selben Autor geschrieben. Ich versuche die Unterschiede zwischen ihnen zu verstehen und wollte herausfinden, warum er PCA gegen SVD als Grundlage für seine Analyse verwenden würde. Vielleicht war es willkürlich, aber wenn ich die Vor- und Nachteile verstehen kann, würde es helfen. Bisher scheint SVD nur ein Weg zu PCA zu sein, der tendenziell numerisch stabiler ist.

Baz

Das ist in Ordnung, aber ich habe mich nur gefragt, ob die Verwendung von SVD auch zusätzliche ökonometrische Erkenntnisse / Intuition zu dem Problem liefert.

Baz

Wenn Sie sich speziell auf Ökonometrie konzentrieren möchten, müssen Sie dies in der Frage darlegen und erklären, warum. Ich kann nicht sehen, dass eine Diskussion über SVD und PCA, die ohnehin ganz verschiedene Arten von Tieren sind, für die Ökonometrie anders ist als für jeden anderen Zweig der statistischen Wissenschaft.

Nick Cox

@Baz: "Bisher scheint SVD nur ein Weg zu PCA zu sein, der tendenziell numerisch stabiler ist" - [in diesem Zusammenhang] ist es genau richtig, ja.

Amöbe sagt Reinstate Monica

Antworten:

$X^T X$ $X X^T$

SVD hat also keinen "Vorteil" gegenüber PCA, weil man sich die Frage stellt, ob Newtons Methode besser ist als die der kleinsten Fehlerquadrate: Die beiden sind nicht vergleichbar.

purple51
quelle

Ein schönes Beispiel dafür, wie eine knappe, kurze Antwort den Kern einer Frage noch auf den Punkt bringen kann.

Nick Cox

Wow, 8 Upvotes für diese Antwort und 0 Upvotes für die ursprüngliche Frage. Das macht nicht viel Sinn. Wenn Sie die Antwort positiv bewerten, sollten Sie auch die Frage positiv bewerten!

Amöbe sagt Reinstate Monica

@amoeba Die Frage an mich ist verwirrt. Die Antwort verdeutlicht die Verwirrung. Ich denke, das ist eine gute Erklärung für Abstimmungsunterschiede.

Nick Cox

Um pedantischer zu sein, ist SVD an sich keine numerische Methode, sondern eine lineare Algebra-Operation, die mit bestimmten numerischen Methoden implementiert werden kann, die Dinge wie Transformationen von Hausbesitzern beinhalten ...

purple51

Der Vorteil von SVD (bei der Ableitung von Hauptkomponenten über) ist jedoch ein numerischer: mehr Präzision. Siehe zum Beispiel Jolliffe (2002). Vielleicht der

Nikos Alexandris

Die Frage ist wirklich, ob Sie eine Z-Score-Normalisierung der Spalten durchführen sollten, bevor Sie die SVD anwenden. Dies liegt daran, dass PCA die obige Transformation ist, der die SVD folgt. Manchmal ist die Normalisierung ziemlich schädlich. Wenn Ihre Daten zum Beispiel (transformierte) Wortzählungen sind, die positiv sind, ist das Subtrahieren des Mittelwerts definitiv schädlich. Dies liegt daran, dass Nullen, die das Fehlen eines Wortes in einem Dokument darstellen, negativen Zahlen mit hoher Größe zugeordnet werden. Bei linearen Problemen sollte die höhere Größe verwendet werden, um den Bereich darzustellen, in dem Ihre Features am empfindlichsten sind. Auch das Teilen durch die Standardabweichung ist für diese Art von Daten schädlich.

Stefan Savev
quelle

Dies ist ein interessantes Beispiel, aber ich glaube, es sollte eher zu einem anderen Thread gehören. PCA kann definitiv ohne Z-Scoring durchgeführt werden, daher stimme ich Ihrem ersten Satz nicht zu: Das ist nicht das, was diese Frage "wirklich stellt".

Amöbe sagt Reinstate Monica

PCA und SVD sind die gleichen, wenn Sie das Subtrahieren der Mittel ignorieren (dies ist die von mir erwähnte Z-Wertung, manchmal geben die Leute die PCA mit Division durch das stdev an). Ich bin also anderer Meinung, dass Sie PCA machen können, ohne die Mittel abzuziehen. Sie können PCA auch auf nicht quadratischen Matrizen durchführen.

Stefan Savev