Linearität von PCA

35

PCA wird jedoch als lineares Verfahren angesehen:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

Dabei ist . Dies bedeutet, dass die von den PCAs auf den Datenmatrizen erhaltenen Eigenvektoren sich nicht zu den von der PCA auf der Summe der Datenmatrizen erhaltenen Eigenvektoren summieren . Aber ist die Definition einer linearen Funktion : $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Warum wird PCA als "linear" betrachtet, wenn es diese grundlegende Bedingung der Linearität nicht erfüllt?

pca linear Alpha Omega
quelle

Ich habe einmal geschrieben oder gehört (sorry, ich kann mich nicht erinnern, wo oder wann), dass PCA "zur Familie der linearen Prozeduren gehört", weil es auf linearen Abhängigkeiten zwischen Variablen beruht. Es verwendet die Pearson-Korrelationsmatrix und sucht nach linearen Kombinationen höchster Varianz.

Łukasz Deryło

4

Das Wesen dieser Frage könnte durch die Betrachtung der viel einfacheren und routinemäßigeren Einstellung einer gewöhnlichen Regression kleinster Quadrate deutlicher werden: Dies ist der Archetyp eines linearen statistischen Verfahrens. Nichtsdestoweniger ist das Verfahren der kleinsten Quadrate Koeffizienten Abschätzen einer offensichtlich nicht - lineare Funktion der Datenmatrix

, wie durch die Formel attestiert

. (Beachten Sie, dass es eine lineare Funktion des Antwortvektors

.)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

whuber

4

Es könnte sich lohnen, sich daran zu erinnern, dass f (x) = x + 1 auch eine "lineare Funktion" ist ... aber es erfüllt nicht das, was Sie gerade gesagt haben ... was etwas erklären sollte.

Mehrdad

Das liegt daran, dass

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

Gabriel Romon

39

Wenn wir sagen, dass PCA eine lineare Methode ist, beziehen wir uns auf die dimensionalitätsreduzierende Abbildung vom hochdimensionalen Raum auf einen niederdimensionalen Raum . In PCA ist diese Abbildung durch Multiplikation von mit der Matrix von PCA-Eigenvektoren gegeben und ist daher offensichtlich linear (Matrixmultiplikation ist linear): Dies steht im Gegensatz zu nichtlinearen Verfahren zur Dimensionsreduzierung , bei denen die dimensionalitätsreduzierende Abbildung nichtlinear sein kann. $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

Andererseits werden die oberen Eigenvektoren aus der Datenmatrix Verwendung dessen berechnet , was Sie in Ihrer Frage : und Diese Abbildung ist sicherlich nichtlinear: Es werden Eigenvektoren der Kovarianzmatrix berechnet, was ein nichtlineares Verfahren ist. (Als einfaches Beispiel multiplizieren Sie mit $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ erhöht die Kovarianzmatrix um

, aber ihre Eigenvektoren bleiben gleich wie sie normalisiert sind, um eine Einheitslänge zu haben.)

4

$4$

Amöbe sagt Reinstate Monica
quelle

Dass ich 35 Upvotes für diese triviale Antwort bekommen habe, ist ziemlich lächerlich (und liegt hauptsächlich daran, dass dieser Thread eine Weile in den Hot Network Questions war).

Amöbe sagt Reinstate Monica

5

"Linear" kann viele Dinge bedeuten und wird nicht ausschließlich formal verwendet.

PCA wird häufig nicht als eine Funktion im formalen Sinne definiert, und es wird daher nicht erwartet, dass es die Anforderungen einer linearen Funktion erfüllt, wenn es als solche beschrieben wird. Es wird, wie Sie sagten, öfter als Prozedur und manchmal als Algorithmus beschrieben (obwohl mir diese letzte Option nicht gefällt). Es wird oft gesagt, dass es auf informelle, nicht genau definierte Weise linear ist.

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

broncoAbierto
quelle

3

PCA liefert / ist eine lineare Transformation.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Zum Vergleich ein sehr einfaches Beispiel eines Prozesses, der eine lineare Transformation verwendet, aber selbst keine lineare Transformation ist:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

und

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

aber

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

Diese Verdopplung des Winkels, die die Berechnung von Winkeln beinhaltet, ist nicht linear und entspricht der Aussage von Amöben, dass die Berechnung des Eigenvektors nicht linear ist

Sextus Empiricus
quelle

Linearität von PCA

Antworten: