Über die Funktionale Hauptkomponentenanalyse (FPCA) bin ich gestolpert und habe sie nie verstanden. Worum geht es? Siehe "Eine Übersicht über die Analyse der funktionalen Hauptkomponenten" von Shang, 2011 , und ich zitiere: PCA stößt bei der Analyse von Funktionsdaten aufgrund des "Fluches der...
Die meisten klassischen Algorithmen für Clustering und Dimensionsreduktion (hierarchisches Clustering, Hauptkomponentenanalyse, k-Means, selbstorganisierende Karten ...) wurden speziell für numerische Daten entwickelt und ihre Eingabedaten werden als Punkte in einem euklidischen Raum...
Ich bin auf ein Szenario gestoßen, in dem ich 10 Signale / Person für 10 Personen (also 100 Samples) mit 14000 Datenpunkten (Dimensionen) habe, die ich an einen Klassifikator übergeben muss. Ich möchte die Dimensionalität dieser Daten reduzieren, und PCA scheint der richtige Weg zu sein. Ich konnte...
Ich habe kürzlich einige Fragen zu t-SNE ( t-Distributed Stochastic Neighbor Embedding ) gelesen und auch einige Fragen zu MDS ( Multidimensional Scaling ) besucht. Sie werden oft analog verwendet, daher schien es eine gute Idee zu sein, diese Frage zu stellen, da es hier viele Fragen zu beiden...
In diesem Artikel verknüpft der Autor die lineare Diskriminanzanalyse (LDA) mit der Hauptkomponentenanalyse (PCA). Mit meinen begrenzten Kenntnissen kann ich nicht nachvollziehen, wie LDA PCA ähneln kann. Ich habe immer gedacht, dass LDA eine Art Klassifizierungsalgorithmus ist, ähnlich der...
Mein Verständnis von t-SNE und der Barnes-Hut-Näherung ist, dass alle Datenpunkte erforderlich sind, damit alle Kraftwechselwirkungen gleichzeitig berechnet werden können und jeder Punkt in der 2d-Karte (oder der Karte mit der niedrigeren Dimension) angepasst werden kann. Gibt es Versionen von...
Einige Funktionen meiner Daten haben große Werte, während andere Funktionen viel kleinere Werte haben. Müssen die Daten vor dem Anwenden von t-SNE zentriert und skaliert werden, um eine Verzerrung in Richtung der größeren Werte zu vermeiden? Ich verwende die sklearn.manifold.TSNE-Implementierung...
Ich habe einen Doktortitel in Molekularbiologie. Meine Studien haben vor kurzem begonnen, hochdimensionale Datenanalysen zu beinhalten. Ich hatte die Idee, wie t-SNE funktioniert (dank eines StatQuest-Videos auf YouTube ), kann mich aber nicht um UMAP kümmern (ich habe mir den Vortrag des...
Angenommen, wir haben NNN messbare Variablen , führen eine Anzahl von Messungen durch und möchten dann eine Singulärwertzerlegung für die Ergebnisse durchführen, um die Achsen mit der höchsten Varianz für die Punkte zu finden im dimensionalen Raum. ( Hinweis: davon aus, dass die Mittel der bereits...
Ich verstehe, was "Fluch der Dimensionalität" ist, und ich habe einige hochdimensionale Optimierungsprobleme gelöst und kenne die Herausforderung der exponentiellen Möglichkeiten. Ich bezweifle jedoch, dass der "Fluch der Dimensionalität" in den meisten Daten der realen Welt existiert (also lassen...
Ich versuche, Clustering auf Dokumentebene durchzuführen. Ich habe die Term-Document-Frequenzmatrix konstruiert und versuche, diese hochdimensionalen Vektoren mit k-Mitteln zu clustern. Anstatt direkt zu clustern, habe ich zuerst die LSA-Singularvektorzerlegung (Latent Semantic Analysis)...
Sind reduzierte Rangregression und Hauptkomponentenregression nur Sonderfälle von partiellen kleinsten Quadraten? In diesem Lernprogramm (Seite 6, "Objektivvergleich") wird angegeben, dass bei Teilquadraten ohne X- oder Y-Projektion (dh "nicht partiell") die Rang- oder Hauptkomponentenregression...
Ich habe Mühe, eine Methode zu finden, um die Anzahl der Kategorien in nominalen oder ordinalen Daten zu reduzieren. Angenommen, ich möchte ein Regressionsmodell für ein Dataset erstellen, das eine Reihe von nominalen und ordinalen Faktoren enthält. Während ich mit diesem Schritt keine Probleme...
Verwendung dieser Daten: head(USArrests) nrow(USArrests) Ich kann eine PCA wie folgt durchführen: plot(USArrests) otherPCA <- princomp(USArrests) Ich kann die neuen Komponenten bekommen otherPCA$scores und der Anteil der Varianz erklärt durch Komponenten mit summary(otherPCA) Aber was...
Ich habe einen Datensatz bestehend aus 15K markierten Proben (von 10 Gruppen). Ich möchte die Dimensionsreduktion in 2 Dimensionen anwenden, die die Kenntnis der Etiketten berücksichtigen. Wenn ich "Standard" -Verfahren zur unbeaufsichtigten Dimensionsreduktion wie PCA verwende, scheint das...
Offenbar, Die Fisher-Analyse zielt darauf ab, gleichzeitig die Trennung zwischen den Klassen zu maximieren und gleichzeitig die Streuung innerhalb der Klassen zu minimieren. Ein nützliches Maß für das Unterscheidungsvermögen einer Variablen ist daher die Diagonalengröße: Bii/WiiBii/WiiB_{ii}/W_{ii}...
Ist es sinnvoll, PCA durchzuführen, bevor eine zufällige Waldklassifizierung durchgeführt wird? Ich habe es mit hochdimensionalen Textdaten zu tun, und ich möchte eine Feature-Reduzierung durchführen, um den Fluch der Dimensionalität zu vermeiden. Ist Random Forests nicht bereits auf eine Art von...
Ich weiß, dass sowohl die Merkmalsauswahl als auch die Dimensionsreduzierung darauf abzielen, die Anzahl der Merkmale im ursprünglichen Merkmalssatz zu reduzieren. Was ist der genaue Unterschied zwischen den beiden, wenn wir in beiden dasselbe
Als spezifisches Problem, mit dem ich arbeite (einen Wettbewerb), habe ich die folgende Einstellung: 21 Funktionen (numerisch auf [0,1]) und einen Binärausgang. Ich habe ca. 100 K Zeilen. Die Einstellung scheint sehr laut zu sein. Ich und andere Teilnehmer wenden die Feature-Generierung für eine...
Ich habe 3 Versuche mit jeweils 87 Tieren in 2 Kontexten (einige fehlende Daten; keine fehlenden Daten = 64 Tiere). In einem Kontext, ich viele spezifische Maßnahmen (Zeit zu geben, die Anzahl der Male Heim fahren, etc.), so dass ich 2 bis 3 Verbundverhalten Partituren entwickeln wollen, die das...