Ich lese diesen Artikel über den Unterschied zwischen der Analyse von Hauptkomponenten und der Analyse mehrerer Diskriminanten (lineare Diskriminanzanalyse) und versuche zu verstehen, warum Sie jemals PCA anstelle von MDA / LDA verwenden würden.
Die Erklärung ist wie folgt zusammengefasst:
Grob gesagt versuchen wir in PCA, die Achsen mit maximalen Varianzen zu finden, in denen die Daten am meisten verteilt sind (innerhalb einer Klasse, da PCA den gesamten Datensatz als eine Klasse behandelt), und in MDA maximieren wir zusätzlich die Streuung zwischen Klassen.
Möchten Sie nicht immer sowohl die Varianz als auch die Streuung zwischen den Klassen maximieren?
Antworten:
Ihnen fehlt etwas Tieferes: PCA ist keine Klassifizierungsmethode.
PCA beim maschinellen Lernen wird als Feature-Engineering-Methode behandelt. Wenn Sie PCA auf Ihre Daten anwenden, garantieren Sie, dass keine Korrelation zwischen den resultierenden Funktionen besteht. Davon profitieren viele Klassifizierungsalgorithmen.
Sie müssen immer bedenken, dass Algorithmen möglicherweise Annahmen zu den Daten haben, und wenn solche Annahmen nicht zutreffen, können sie eine Underperformance aufweisen.
LDA muss eine Kovarianzmatrix-Inversion berechnen, um die Daten zu projizieren (überprüfen Sie diese Threads und Antworten: Sollte eine PCA durchgeführt werden, bevor ich eine Klassifizierung durchführe? Und ist es sinnvoll, PCA und LDA zu kombinieren? ). Wenn Sie nur wenige Daten haben, ist dies instabil und Sie erhalten überangepasste Projektionen in Richtung Ihrer Datenpunkte, dh eine singuläre Kovarianzmatrix innerhalb der Klasse. PCA wird normalerweise verwendet, um dies zu vermeiden und die Dimension des Problems zu verringern.
Die Antwort lautet also, dass Sie PCA niemals zur Klassifizierung verwenden, aber Sie können damit versuchen, die Leistung von LDA zu verbessern.
quelle
Während die vorherige Antwort von Firebug richtig ist, möchte ich eine andere Perspektive hinzufügen:
Unüberwachtes vs. überwachtes Lernen:
LDA ist sehr nützlich, um Dimensionen zu finden, die darauf abzielen, Cluster zu trennen. Daher müssen Sie Cluster vorher kennen. LDA ist nicht unbedingt ein Klassifikator, kann aber als einer verwendet werden. Daher kann LDA nur beim überwachten Lernen verwendet werden
PCA ist ein allgemeiner Ansatz zur Entrauschung und Dimensionsreduzierung und erfordert keine weiteren Informationen wie Klassenbezeichnungen beim überwachten Lernen. Daher kann es beim unbeaufsichtigten Lernen eingesetzt werden.
quelle
LDA is not neccesarily a classifier. Einem Leser (auch dem OP) wird empfohlen, diese verwandte Frage zu lesen: Wie LDA, eine Klassifizierungstechnik, auch als Dimensionsreduktionstechnik wie PCA dient .LDA wird verwendet, um mehrdimensionalen Raum zu zerlegen.
PCA wird verwendet, um den mehrdimensionalen Raum zu kollabieren.
Zum Beispiel: 3D-Objekte werfen 2D-Schatten. PCA ermöglicht es uns oft, Hunderte von räumlichen Dimensionen in eine Handvoll niedrigerer räumlicher Dimensionen zu reduzieren, während 70% - 90% der wichtigen Informationen erhalten bleiben.
Wie ich die Größe und Form Ihrer Hand aus dem Schatten sehen kann. Ich kann dir nicht alles über die Form deiner Hand erzählen. Aber durch eine Sammlung von 3 oder 4 Schatten aus optimalen bekannten Winkeln. Dann könnte ich Ihnen die meisten Dinge über die Größe und Form der Hand erzählen.
quelle