Was ist der Unterschied zwischen regulärer PCA und probabilistischer PCA?

15

Ich weiß, dass reguläre PCA nicht dem Wahrscheinlichkeitsmodell für beobachtete Daten folgt. Was ist der grundlegende Unterschied zwischen PCA und PPCA ? In PPCA enthält das latente Variablenmodell zum Beispiel beobachtete Variablen , latente (nicht beobachtete Variablen ) und eine Matrix , die nicht wie bei regulären PCA orthonormal sein muss. Ein weiterer Unterschied, den ich mir vorstellen kann, ist, dass reguläre PCA nur Hauptkomponenten bereitstellen, wobei PPCA die Wahrscheinlichkeitsverteilung der Daten bereitstellt.yxW

Könnte jemand bitte durch mehr Licht auf die Unterschiede zwischen PCA und PPCA?

pca Vendetta
quelle
2
Sehen Sie hier .
Ami Tavory
1
+1. Sehen Sie meine Antworten hier stats.stackexchange.com/questions/208731 und auch hier stats.stackexchange.com/questions/203087 . Haben Sie die Folien gelesen, auf die Sie verlinkt haben? Sie scheinen alles im Detail zu erklären. Können Sie dieser Darstellung folgen oder ist sie zu kompliziert?
Amöbe sagt Reinstate Monica
@amoeba, ich habe die Folien befolgt. Ich habe einige Unterschiede, aber es gibt mir keine klare Vorstellung davon, was PPCA kann, was PCA nicht kann. Was passiert technisch durch die Einführung latenter Variablen? Die Schätzung der Kovarianz wie bei PPCA kann auch bei regulären PCA durchgeführt werden? Wenn Sie eine Antwort hinzufügen können, wäre es wirklich hilfreich
Vendetta
@amoeba, Diese beiden Fragen sind ziemlich gut beantwortet. Insbesondere die Frage nach dem hauptsächlichen Unterraum in der probabilistischen PCA. Das gibt mir mehr Intuition in das Verständnis der Schätzung der Hauptkomponenten von W.
Vendetta
OK, ich werde versuchen eine Antwort zu schreiben, aber ich bin in diesen Tagen ziemlich beschäftigt. Ich werde versuchen, diese Woche Zeit zu finden, aber ich könnte es auf nächste Woche verschieben. (+1 übrigens)
Amöbe sagt Reinstate Monica

Antworten:

9

Das Ziel von PPCA ist es nicht, bessere Ergebnisse als PCA zu erzielen, sondern eine breite Palette zukünftiger Erweiterungen und Analysen zu ermöglichen. In der Arbeit werden einige der Vorteile in der Einleitung klar herausgestellt, dh / zB:

"Die Definition eines Wahrscheinlichkeitsmaßes ermöglicht einen Vergleich mit anderen probabilistischen Techniken, während statistische Tests erleichtert und die Anwendung von Bayes'schen Modellen ermöglicht werden."

Insbesondere Bayes-Modelle erleben in letzter Zeit eine enorme Renaissance, z. B. VAE, "Auto-Encoding Variational Bayes", https://arxiv.org/abs/1312.6114 . Die Erweiterung von PCA für die Verwendung in variablen Frameworks und ähnlichem hat das Potenzial, dass ein anderer Forscher sagt: "Oh, was ist, wenn ich ...?"

Hugh Perkins
quelle