In Anbetracht der konstanten Anzahl von Merkmalen hat Barnes-Hut t-SNE eine Komplexität von , zufällige Projektionen und PCA eine Komplexität von was sie für sehr große Datenmengen "erschwinglich" macht.O ( n )
Andererseits weisen Verfahren, die auf mehrdimensionaler Skalierung beruhen , eine -Komplexität auf.
Gibt es andere Techniken zur Dimensionsreduktion (abgesehen von trivialen, wie natürlich das Betrachten der ersten Spalten), deren Komplexität geringer ist als ?
Eine interessante Option wäre die Untersuchung der neuronalen Dimensionsreduktion. Der am häufigsten verwendete Netzwerktyp zur Dimensionsreduzierung, der Autoencoder, kann auf Kosten von trainiert werden , wobei die Trainingsiterationen darstellt (ist ein von Trainingsdaten unabhängiger Hyperparameter). . Daher vereinfacht sich die Trainingskomplexität zu .i O ( n )
Sie können zunächst einen Blick auf die Seminararbeit von Hinton und Salakhutdinov 2006 werfen [1]. Seitdem haben sich die Dinge sehr weiterentwickelt. Jetzt wird der größte Teil der Aufmerksamkeit von Variational Autoencodern [2] erreicht, aber die Grundidee (ein Netzwerk, das die Eingabe auf seiner Ausgabeschicht mit einer dazwischen liegenden Engpassschicht rekonstruiert) bleibt dieselbe. Beachten Sie, dass Autoencoder im Gegensatz zu PCA und RP eine nichtlineare Dimensionsreduktion durchführen. Im Gegensatz zu t-SNE können Autoencoder auch unsichtbare Samples transformieren, ohne das gesamte Modell neu trainieren zu müssen.
Auf der praktischen Seite empfehle ich, einen Blick auf diesen Beitrag zu werfen , der Details zur Implementierung verschiedener Arten von Autoencodern mit der wunderbaren Bibliothek Keras enthält.
[1] Hinton, GE & Salakhutdinov, RR (2006). Reduzierung der Dimensionalität von Daten mit neuronalen Netzen. science, 313 (5786), 504 & ndash; 507.
[2] Kingma, DP & Welling, M. (2013). Automatische Codierung von Variationsfeldern. arXiv-Vorabdruck arXiv: 1312.6114.
Neben den bereits erwähnten Autoencodern kann man versuchen, das Lemma von Johnson-Lindenstrauss mit zufälligen Projektionen oder zufälligen Subraummethoden auszunutzen . Zufällige Projektionen sind , wobei die Anzahl der Stichproben der Dimension und die Zieldimension ist, vgl. [1].N d kO(kdN) N d k
Ein bisschen googeln bringt Ihnen einige sehr aktuelle Ergebnisse, insbesondere für spärliche Datensätze.
[1] Zufällige Projektion bei der Reduzierung der Dimensionalität: Anwendungen auf Bild- und Textdaten .
quelle