PCA, LDA, CCA und PLS

26

Wie hängen PCA, LDA, CCA und PLS zusammen? Sie scheinen alle "spektral" und linear algebraisch und sehr gut verstanden zu sein (sagen wir 50+ Jahre Theorie, die um sie herum aufgebaut sind). Sie werden für sehr unterschiedliche Zwecke verwendet (PCA zur Dimensionsreduzierung, LDA zur Klassifizierung, PLS zur Regression), fühlen sich aber dennoch sehr eng miteinander verbunden.

pca discriminant-analysis partial-least-squares canonical-correlation carlosdc
quelle
3
Zusätzlich zu der netten Referenz in der Antwort unten können Sie auch Borga et al., 1997, Ein einheitlicher Ansatz für PCA, PLS, MLR und CCA, lesen .
Amöbe sagt Reinstate Monica

Antworten:

25

Tijl De Bie hat ein interessantes Kapitel " Eigenprobleme in der Mustererkennung " geschrieben, das genau diese aus einer primären / dualen Perspektive behandelt. Die drei Tabellen am Ende fassen aus Sicht der Optimierung sehr gut zusammen:

Tabelle 1

Tabelle 2

Tisch 3

tdc
quelle