PCA-, ICA- und Laplace-Eigenkarten

Ich interessiere mich sehr für die Laplace-Eigenkartenmethode. Derzeit verwende ich es zur Dimensionsreduzierung für meine medizinischen Datensätze.

Bei der Verwendung der Methode bin ich jedoch auf ein Problem gestoßen.

Zum Beispiel habe ich einige Daten (Spektren-Signale), ich kann PCA (oder ICA) verwenden, um einige PCs und ICs zu erhalten. Das Problem ist, wie man ähnliche dimensionsreduzierte Komponenten der Originaldaten erhält.

Nach der Laplace-Eigenkartenmethode müssen wir das verallgemeinerte Eigenwertproblem lösen

$L y = \lambda D y$

Hier ist y der Eigenvektor. Wenn ich die Eigenvektoren, z. B. die oberen 3 der y-Vektoren, zeichne (setze die Lösung auf 3 Eigenwerte), sind die Ergebnisse nicht interpretierbar.

Ich kann jedoch immer die Top 3 PCs und Top 3 ICs zeichnen, die irgendwie die Originaldaten x darstellen.

Ich nehme an, der Grund dafür ist, dass die Matrix L durch die Gewichtungsmatrix (benachbarte Matrix W) definiert ist und die Daten x mit dem Wärmekern versehen wurden, um W zu erzeugen, das eine Exponentialfunktion verwendet. Meine Frage ist, wie man die reduzierten Komponenten von x (nicht den Eigenvektor y der Matrix L) abruft.

Vielen Dank und ich freue mich auf Ihre Antwort.

Vielen Dank für Ihre Antwort.

Mein Datensatz ist eingeschränkt und es ist nicht einfach, das Problem zu demonstrieren. Hier habe ich ein Spielzeugproblem erstellt, um zu zeigen, was ich meinte und was ich fragen möchte.

Bitte sehen Sie das Bild,

Zuerst erstelle ich einige Sinuswellen A, B, C, die in roten Kurven dargestellt sind (erste Spalte der Abbildung). A, B und C haben 1000 Abtastwerte, mit anderen Worten, die in 1x1000 Vektoren gespeichert sind.

Zweitens mischte ich die Quellen A, B, C unter Verwendung zufällig erzeugter linearer Kombinationen, z. B. , wobei r1, r2, r3 zufällige Werte sind. Das gemischte Signal M befindet sich in einem sehr hochdimensionalen Raum, z. B. M ≤ R 1517 × 1000 , 1517 ist ein zufällig gewählter hochdimensionaler Raum. Ich zeige nur die ersten drei Zeilen des Signals M in grünen Kurven (zweite Spalte der Abbildung).$M = r1*A + r2*B + r3*C$$M \in R^{1517\times1000}$

Als Nächstes führe ich PCA-, ICA- und Laplace-Eigenkarten aus, um die Dimensionsreduktionsergebnisse zu erhalten. Ich entschied mich für 3 PCs, 3 ICs und 3 LEs, um einen fairen Vergleich durchzuführen (blaue Kurven wurden als 3., 4. und letzte Spalte der Abbildung angezeigt).

Aus den Ergebnissen von PCA und ICA (3., 4. Spalte der Abbildung) können wir ersehen, dass wir die Ergebnisse als eine gewisse Dimensionsreduktion interpretieren können, dh für ICA-Ergebnisse können wir das gemischte Signal durch wiederherstellen C 1 + b 2 ∗ I C 2 + b 3 ∗ I C 3 (Ich bin nicht sicher, ob wir auch M = a 1 ∗ P C 1 + a 2 ∗ P C 2 + a 3 ∗ P $M = b1*IC1 + b2*IC2 + b3*IC3$ mit PCA-Ergebnissen, aber das Ergebnis scheint für mich ganz richtig zu sein).$M = a1*PC1 + a2*PC2 + a3*PC3$

Bitte schauen Sie sich jedoch die Ergebnisse von LE an, ich kann die Ergebnisse kaum interpretieren (letzte Spalte der Abbildung). Es scheint etwas "falsch" mit den reduzierten Komponenten. Ich möchte auch erwähnen, dass der Plot der letzten Spalte schließlich der Eigenvektor in der Formel L y = λ D $y$$L y = \lambda D y$

Haben Sie Leute mehr Ideen?

Abbildung 1 unter Verwendung von 12 nächsten Nachbarn und Sigma im Heizkern beträgt 0,5:

Abbildung 2 unter Verwendung von 1000 nächsten Nachbarn und Sigma im Heizkern beträgt 0,5:

Matlab-Codes mit dem erforderlichen Paket werden auf http://www.mediafire.com/?0cqr10fe63jn1d3 hochgeladen

Vielen Dank.

Die Antwort auf Ihre Frage wird durch die Abbildung an der Unterseite der Seite 6 des ursprünglichen Laplace Eigenmaps gegeben Papiers :

$x_i \rightarrow (f_1(i), \dots, f_m(i))$

$x_5$$(f_1(5), f_2(5))$$f_1$$f_2$$L f = \lambda D f$

$L$

Im Gegensatz zu PCA-Laplace-Eigenkarten werden die verallgemeinerten Eigenvektoren verwendet, die den kleinsten Eigenwerten entsprechen. Es überspringt den Eigenvektor mit dem kleinsten Eigenwert (könnte Null sein) und verwendet die Eigenvektoren, die den nächstkleineren Eigenwerten entsprechen. PCA ist eine Einbettung mit maximaler Varianz unter Verwendung der Kernel / Gramm-Matrix. Laplace-Eigenkarten stellen eher ein Minimierungsproblem in Bezug auf den kombinatorischen Graphen-Laplace dar (siehe Artikel von Trosset).

Hier ist der Link zu Prof Trossets Webseite des Kurses und er schreibt ein Buch http://mypage.iu.edu/~mtrosset/Courses/675/notes.pdf, das jede Woche oder so aktualisiert wird. Auch die R-Funktionen für Laplace-Eigenkarten sind angegeben. Probieren Sie es einfach selbst aus. Sie können dieses Papier auch von Belkin betrachten

Vielen Dank an Abhik Student von Prof. Trosset